» 
华为 职业 认证 通过 者 权益 
通过 任 一 项 华为 职业 认证 ， 您 即 可 在 华为 在 线 学 习 网 站 (htfp;//earning.huawei.com/cn) 享有 如 下 特权 : 
。 ”1、 华 为 E-learning 课程 学 习 
o 内 容 : 所 有 华为 职业 认证 E-Learning 课 程 ， 扩 展 您 在 其 他 技术 领域 的 技术 知识 
方式 : 请 提交 您 的 “华为 账号 ”和 注册 账号 的 “email 地 址 ”到 LeQ/ning@huawei.com 有 拘 谍 反 碟 。 
华为 培训 教材 下 载 
内 容 : 华为 职业 认证 培训 教材 + 华为 产品 技术 培训 教材 ， 覆 盖 企 业 网 络 、 存 储 、 安 全 等 诸多 领 
方式 : 登录 华为 在 给 党 习 奢 站 ， 进 入 “和 毕 为 克 动 -> 面 丰 区 益 ”， 在 具体 课程 页 面 即 可 下 载 教 林 。 
华为 在 线 公 开课 (LVC) 优 先 参与 
内 容 : 企业 网 络 、UC&C、 安 全 、 存 储 等 诸多 领域 的 职业 认证 课程 ， 华 为 讲师 授课 ， 天 班 A 数 有 限 
方式 : 开 班 计划 及 参与 方式 请 详 见 LVC 排 期 : 


http://support.huawei.com/learning/NavigationAction!createNavi#rawilid]=Y16 
学 习 工 具 eNSP 
ENSP [Enterprise Network Simulation Platforml, 是 由 华为 提供 的 免费 的 6] 坟 展 的 、 图 形 化 网 络 仿 





真 工具 。 主 要 对 企业 网 路 由 器 和 交换 机 进行 硬件 模拟 ， 完 美 呈现 真实 设备 实景 了 同时 也 支持 大 型 网 络 
模拟 ， 让 大 家 在 没有 真实 设备 的 情况 下 也 能 够 进行 实验 测试 。 
另外 , 华为 建立 了 知识 分 享 平台 华为 认证 论坛 。 您 可 以 在 线 与 华为 技术 专家 交流 技术 ， 与 其 他 考生 分 享 考试 
经 验 ， 一 起 学 习 华为 产品 技术 。_(_ http://support.huawei.comyeaePimunity/bbsy/list 2247.html ) 
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华为 认证 系统 介绍 


依托 华为 公司 雄厚 的 技术 实力 和 专业 的 培训 体系 ,华为 认证 考虑 到 不 同 客户 对 1CT 
技术 不 同 层次 的 需求 ， 致 力 于 为 客户 提供 实战 性 、 专 业 化 的 技术 认证 。 根据 ICT 技术 
的 特点 和 客户 不 同 层 次 的 需求 ， 华 为 认证 为 客户 提供 面向 十 三 个 方向 的 四 级 诀 证 体系 。 

HCNA-Storage (Huawei Certified Network Associate-Storage， 华 为 网 络 存储 工 
程 师 认证 ) 主要 面向 网 络 存 储 维护 工程 师 , 以 及 准备 参加 HCNA-Storage 认证 考试 的 人 
员 ; 希望 掌握 SAN 存储 系统 与 网 络 基本 原理 和 华为 SAN 存储 阵 系统 管理 、 部 署 与 维护 
能 力 的 人 员 。HCNA 认证 在 内 容 上 涵盖 存储 基础 知识 、RAID 技术 与 应 用 、 存 储 网 络 技 
术 与 应 用 、 华 为 存储 产品 与 解决 方案 、 存 储 系统 管理 和 基本 配置 存储 主机 连接 与 多 路 
径 配 置 、SAN 网 络 与 存储 系统 日 常 维护 。 

HCNP-Storage (Huawei Certified Network Professional-Storage, 华为 认证 网 络 存 
储 资深 工程 师 ) 主 要 面向 企业 级 网 络 存 储 维护 工程 师 ^\ 专 家 工程 师 以 及 希望 系统 深入 掌 
握 SAN 存储 、 统 一 存储 、 数 据 保 护 技术 与 部 署 的 大 员 。 

HCNP-Storage 包括 CUSN (Constructing=tJnifying Storage Network, 构建 统一 存 
储 网 络 ) 、CBDS (Constructing Big Data Solution 构建 大 数据 解决 方案 ) 、CDPS 

(Constructing Data Protection System 构建 数据 保护 系统 ) 三 个 部 分 。 内 容 上 涵盖 

SAN、NAS 统一 存储 原理 、 架 构 和 组 件 , 存储 数据 处 理 与 通信 协议 (SCSI、FC、iSCSI) 
原理 及 应 用 , 存储 系统 数据 可 靠 性 与 业务 连续 性 保障 技术 存储 与 主流 OS 平台 连接 与 应 
用 , 存储 网 络 见 余 技 术 及 应 用 ,,SAN< 集群 NAS 网 络 规划 与 方案 部 署 , 虚拟 快照 、LUN 
Copy、 复 制 的 原理 和 部 署 ,网络 存储 虚拟 化 技术 及 应 用 ， 存 储 虚 拟 化 系统 原理 、 部 署 
和 异 构 资源 管理 ， 备 份 网 络 及 备份 恢复 技术 及 应 用 ， 华 为 数据 保护 方案 构建 、 部 署 与 管 
理 ， 华 为 数据 容 灾 方案 及 典型 应 用 场景 ， 华 为 存储 系统 、 网 络 、 方 案 的 故障 诊断 与 处 理 
方法 。 

HCIE-Storage (Huawei Certified Internetwork Expert--Storage， 华 为 认证 互联 网 
络 存储 专家 ) 旨 在 培养 能 够 熟练 掌握 各 种 存储 技术 ; 精通 IT 存储 方案 设计 、 部 署 和 运 
维 管理 以 及 诊断 和 故障 排除 。 

华为 认证 协助 您 打开 行业 之 窗 ， 开 启 改变 之 门 ， 屹 立 在 ICT 世界 的 潮 头 浪 尖 ! 





























了 路 


前 
简介 
HCNP-Storage 认证 定位 于 IT 领域 信息 存储 高 级 工程 师 或 存储 方案 专家 能 力 构 建 。 
本 书 为 HCNP-Storage 认证 培训 教程 , 适用 于 华为 认证 网 络 存储 资深 工程 师 以 及 淮 

备 参 加 HCNP-Storage 认证 考试 的 人 员 ， 通 过 HCNP-Storage 认证 ， 将 证 明 您 对 信息 

存储 系统 、 网 络 有 全 面 深入 的 理解 ， 掌 握 存储 系统 和 网 络 (SAN、NAS、 多 备 系统 ) 的 

通用 技术 ， 并 具备 独立 完成 信息 存储 、 数 据 保 护 等 综合 解决 方案 的 部 署 、 运 维和 管理 。 

内 容 描述 
本 书 是 HCNP-Storage-CUSN ( Huawei Certified Network Professional - 

Constructing Unifying Storage Network 华为 认证 网 络 存储 资深 玉 程 师 - 构建 统一 存储 

网 络 ) ， 用 于 指导 学 员 学 习 HCNP-Storage-CUSN 认证 考试 e(H13-621-CHS) 相关 内 

容 。 共 包含 8 个 Module， 内 容 覆 盖 : SAN 存储 架构 、 组 件 和 存储 数据 处 理 与 通信 协议 

(SCSI、FC、iSCSI) 原理 及 应 用 ， 存储 数据 可 靠 性 与 业务 连续 性 保障 技术 ， 存 储 性 能 

因素 与 调 优 ， 存 储 系统 管理 特性 与 应 配置 ， 存 储 与 主流 \OS 平台 连接 与 应 用 ， 存 储 网 络 

见 余 技术 及 应 用 ， 虚 拟 快照 、LUN Copy、 复 制 的 原理 六 规划 与 部 署 ，SAN 存储 系统 与 

网 络 典型 场景 故障 诊断 思路 和 故障 处 理 方法 。 

Module 1 ”统一 存储 协议 : SAN 存储 系统 及 结构 > SCSI 协议 及 存储 架构 模型 、FC 协 
议 、SAS 协议 、iSCSI 协议 、NAS 系统 及 结构 、CIFS 协议 、NFS 协议 。 

Module 2 ”统一 存储 技术 及 应 用 : 统一 存储 技术 、RAID2.0 技术 、Smart tier、Hyper 
Copy、Smart thin、HypenClone、Ultra APM、 存 储 业 务 连接 性 方案 。 

Module 3 ”虚拟 化 存储 网 关系 统 部 署 与 管理 : 存储 虚拟 化 简介 , 存储 虚拟 化 技术 实现 分 
类 ,基于 各 层 的 存储 虚拟 化 ， 拟 化 存储 网 关 产 品 架构 与 软 硬 件 介 绍 ， 虚 拟 化 
存储 网 关 功 能 特性 介绍 ， 快 照 技 术 及 应 用 ， 复 制 技 术 及 应 用 。 

Module 4 ”统一 存储 与 主机 连接 : 存储 与 UNIX 主机 连接 ， 多 路 径 部 署 与 管理 ， 多 路 径 
故障 处 理 。 

Module 5 ”统一 存储 系统 故障 诊断 : 故障 诊断 原则 ， 流 程 和 方法 ，SAN 存储 故障 处 理 
思路 和 方法 VIS 存储 故障 处 理 思路 和 方法 。 

Module 6 ”统一 存储 系统 性 能 与 优化 : 性 能 调 优 概述 ， 性 能 指标 ， 影 响 性 能 的 关键 因素 
及 技 术 ， 性 能 诊断 和 调 优 ， 性 能 测试 工具 和 方法 ，SAN 存储 系统 常见 性 能 
故障 排除 。 

Module 双 、 统一 存储 方案 规划 与 设计 : 规划 原则 及 流程 、 主 机 层 规划 、 网 络 层 规划 、 存 
储 层 规 划 、 规 划 案 例 。 

Module 8 ”OceanStor 18000 存储 系统 安装 及 维护 : 硬件 结构 介绍 ， 硬 件 安装 和 连 线 ， 
勘测 和 包装 拆卸 ， 维 护 工具 ， 兼 容 性 基础 。 

最 终 掌握 存储 系统 和 网 络 (SAN) 的 通用 技术 及 应 用 ， 并 有 具备 完成 信息 存储 系统 及 

SAN 存储 解决 方案 规划 、 部 署 、 运 维 、 管 理 能 






































读者 必 备 知识 背景 

本 课程 为 华为 认证 网 络 存储 高 级 课程 ， 阅 读本 书 的 读者 应 首先 具备 以 下 基本 条 件 : 
1、 了 解 存储 技术 和 SAN 和 NAS 架构 与 组 成 

2、 熟悉 SAN 存储 系统 配置 与 管理 

3、 熟悉 主流 OS 原理 和 安装 部 署 ， 熟 悉 设备 管 理 操 作 

4、 熟悉 文件 系统 基本 知识 

5、 熟悉 备份 、 容 灾 等 数据 保护 概念 

6、 有 初步 的 备份 项 目 实施 经 验 


本 书 常用 图 标 
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果 程 后 ， 您 将 能 4 
o 熟悉 SAN 存 储 系统 的 基本 构 染 
o 熟悉 ?AN 存储 系统 的 协议 
o 熟悉 NAS 存 储 系统 的 基本 构 染 
o 熟悉 NAS 存 储 系统 的 协议 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





U 140 


目录 
1. SAN 存 储 系 统 及 结构 

2. SAN 主 要 协议 

3. NASs 存 储 系统 及 结构 


4. NAS 文 件 共 至 协议 
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SAN 存 储 网 络 基本 架构 


ETH Switch FC Switch 


AI 


阵列 1 阵列 2 阵列 3 阵列 4 阵列 5 阵列 6 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 3 i HUAWEI 


SAN 即 Storage Area Network (存储 区 域 网 络 ) ， 使 用 专用 网 络 连接 主机 和 存储 设 


备 。 目 前 使 用 的 SAN 网 络 协议 主要 有 FC 及 iSCSl。 
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SAN 存 储 网 络 的 硬件 组 件 


Wb huawel 





SAN 的 硬件 组 件 主 要 有 光纤 交换 机 /以 太 网 突 换 机 、HBA 卡 /网 卡 、FC-SAN 存 储 设 备 
/IP-SAN 存 储 设 备 。 


主机 总 线 适配器 (Host Bus Adapter, HBA) 是 连接 服务 器 与 存储 区 域 网 络 的 设备 ， 
包括 FC-HBA 卡 、SAS-HBA 卡 和 iSCSkHBA 休 。 
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SAN 的 MO 处 理 流程 〈 以 FC-SAN 为 例 ) 


应 用 程序 读 / 写 请 求 
操作 系统 5CSI 命 令 
数据 块 VO 请 求 
光纤 通道 数据 由 
个 


光纤 通道 交换 机 
光纤 网 数据 路 径 


使 用 SAN 的 应 用 程序 VO 请 来 
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SAN 提 供 了 一 种 存储 互联 的 机 制 ， 使 得 其 上 所 连 的 服务 器 能 够 像 与 直接 连接 存储 设备 
通信 一 样 处 理 VO 〇 请求 。 这 使 得 网 络 上 连接 的 服务 器 的 操作 系统 可 以 通过 存储 网 络 中 的 光 
纤 通 道 协议 传输 并 执行 数据 块 VO 。 因 此 ，SAN 具 有 数据 块 MO 操 作 的 种 种 优点 和 效率 ， 同 
时 也 具有 网 络 的 灵活 性 和 更 高 性 能 。 

SAN 的 数据 块 VO 要 求 与 发 出 请 求 的 操作 系统 保持 直接 的 通信 。 

应 用 程序 的 读 写 请 求 通过 操作 系统 转化 成 SCSI 请 求 ， 然 后 进一步 封装 成 FC 请 求 ， 随 后 
该 请 求 经 过 光纤 网 络 数据 路 径直 发 到 目标 设备 上 〈(FC 磁 盘 ) ， 目 标 设备 执行 完成 该 请 求 后 
又 通过 原来 的 路 径 将 结果 返回 给 应 用 程序 。 
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存储 阵列 的 基本 架构 \ 


控制 杠 
硬盘 模块 


控制 杠 


硬盘 模块 


控制 框 
硬盘 模块 


控制 框 
硬盘 模块 


拟 一 一 > 业务 数据 流 所 一 一 > 入 理 数据 流 
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Oceanstor 系列 存储 在 两 个 层面 上 实现 子 对 数据 的 见 余 保护 ， 第 一 个 层面 : 
Oceanstor 系列 存储 产品 所 有 FRU 器 件 均 是 邢 余 的 ， 可 以 现场 热 插 拔 ， 没 有 单 点 故障 ; 第 
二 个 层面 : Oceanstor 系列 存储 实现 J 双 控 制 器 的 双 控 双 活 保护 ， 保 证 最 重要 的 存储 控 
制 器 没有 单 点 故障 。 

上 图 中 ， 数 据 流 的 关系 如 下 : 

| 控制 器 和 应 用 服务 器 之 闻 的 业务 数据 流 

@ 控制 器 和 硬盘 框 之 间 的 业务 数据 流 

@ 控制 器 A 和 控制 器 B 之 间 的 镜像 业务 数据 流 

@ 控制 器 和 硬盘 模块 之 间 的 业务 数据 流 

@ 控制 器 和 电源 一 风扇 模块 之 间 的 管理 数据 流 

@ 控制 器 和 硬盘 模块 之 间 的 管理 数据 流 

@ 控制 器 和 BBU 之 间 的 管理 数据 流 

@ 控制 器 A 和 控制 器 B 之 间 的 心跳 管理 数据 流 
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SAN 存 储 系统 模块 
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SAN 存 储 网 络 的 发 展 趋势 


与 NAS 融 合 ， 通过 引入 虚拟 化 ， 
进行 优势 互补 达到 自我 优化 的 效果 
SAN 和 NAS - 
融合 


组 网 更 加 灵活 提高 SAN 的 智能 1 
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SAN 与 NAS 融 合 : SAN 可 扩展 性 好 ， 性 能 高 而 NAS 成 本 低 管 理 方便 ， 二 者 的 有 效 结合 最 
大 程度 满足 客户 需求 。 

虚拟 化 : 资源 整合 、 动 态 负 和 载 均衡 是 SAN 发 展 的 必然 趋势 ， 也 是 虚拟 化 的 重要 特点 。 
Unified Fabric: 目前 有 多 种 结构 的 SAN ， 如 FC-SAN ，IP-SAN ，IB-SAN ( 即 
InfiniBand-SAN ) 等 ， 渐 渐 出 现 了 一 些 融合 的 趋势 ， 如 FCoFE 等 ， 最 终 都 走向 了 以 太 网 
智能 性 : 自动 部 署 ， 性 能 自我 调 优 ， 存 储 不 再 绝对 依赖 于 管理 员 的 操作 ， 避 免 人 为 错误 
也 提高 了 性 能 。 
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图 目录 


.磁盘 阵列 结构 
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SCSI 协 议 基础 \ 


SCSI: 小 型 计算 机 接口 (Small Computer System Interface) 


SCSI 协 议 本 质 上 同 传输 介质 无 关 ，SCSI 可 以 在 多 种 介质 上 实现 ， 
甚至 是 虚拟 介质 ，; 


目前 最 重要 的 存储 协议 ; \ 
目前 已 发 展 到 SC9I-3。 
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SC5I 指 的 是 一 个 庞大 协议 体系 ， 到 目前 为 止 经 历 了 SCSI-1/SCSI-2/SCS1-3 变 迁 。 


SC5I 协 议定 义 了 一 套 不 同 设备 磁盘, ` 磁 市 ， 处 理 器 ， 光 设备 ， 网 络 设备 等 ) 利用 该 框 
架 进 行 信息 交互 的 模型 和 必要 指令 集 。 


目前 ，3C3| 协 议 可 以 在 FC 链 路 协议 、 基 于 3As 的 链 路 协议 、 基 于 虚拟 |P 链 路 的 SCsl 协 
议 等 多 种 介质 上 实现 。 


小 型 计算 机 系统 接口 (SCS Small Computer System Interface) 是 一 种 用 于 计算 机 及 其 周 
边 设备 之 间 硬盘、 软驱 光驱 、 打 印 机 、 扫 描 仪 等 ) 系统 级 接口 的 独立 处 理 器 标准 。 
SCSI 标 准 定义 了 命令 、 通 信 协 议 以 及 实体 的 电气 特性 ( 换 成 OSI 的 说 法 ， 就 是 占据 了 实体 层 
、 链 接 层 、 通 信 层 、. 心 用 层 ) ， 最 大 部 份 的 应 用 是 在 存储 设备 上 (例如 硬盘 、 磁 带 机 ) ，; 
但 其 实 SCSI 可 以 连接 的 设备 包括 有 扫描 仪 、 光 学 设备 〈 像 CD、DVD) 、 打 印 机 ……: 等 等 ， 
SCSI 命 令 中 有 条 列 出 支持 的 设备 5CSI 周 边 设备 。 
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SCSI 的 发 展 历程 


四 1983-1985 推 出 加 1988-1994 推 出 
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e。 9C9|-1 


1983 年 开始 研究 、1986 年 制定 的 SCsl 标 准 的 主要 特点 是 : 支持 同步 和 异步 的 3C5I 设 备 
; 支持 7 人 台 8 位 的 SCs3l 设 备 ; 异步 传输 速率 最 火 为 1.2M/ 秒 ， 同 步 传输 输 率 最 大 为 5M/ 秒 ; 
支持 WORM (WRITE ONCE READ MANY) 设备 。SC3SI- 1 控制 使 用 卡 ISA 总 线 ， 它 的 最 
大 连 线 长 度 为 6 米 ， 接 头 为 50 针 。 人 得 由 诸 传 输 速度 太 慢 ， 现 在 已 经 不 使 用 了 。 


。 9C9|-2 


SC31- 2 标准 是 1992 年 制定 的 ， 它 在 3C3I- 1 标准 中 加 入 以 下 新 功能 ; 支持 高 密度 3C3| 
接头 ; 支持 CD - ROM 和 扫描 仪 ; SCSl 总 线 具 有 奇偶 校 验 功能 ; 支持 FAST SCSI 和 WIDE 
SCSI， 支持 TaggedlQueuing 功 能 。 


。 SCSL-3 


与 5CSI-2 相 比 SCS1 -3 能 支持 更 多 的 计算 机 硬件 种 类 ， 并 且 数 据 传 输 率 也 更 快 。SC5I 
-3 支持 UltrasSCSl，SCSIl -3 也 叫 FAST-20 、Doublespeed SCSI， 它 定义 怎样 在 8 位 
SC3| 总 线 上 每 秒 传输 20M 数 据 和 在 16 位 Wide SCSI 总 线 上 每 秒 传输 40M 数 据 。 


e Ulfra SCSI 


在 这 以 前 的 SC3 总 线 ， 只 能 在 上 升 沿 或 下 降 沿 传输 数据 ，Ultra SCSI 可 在 同时 在 上 升 沿 
和 平 降 沿 传输 数据 ， 这 使 得 在 16 位 数据 总 线 上 传输 速率 达到 40M/s 。 
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SCSI 的 发 展 历程 N 


加 1988-1994 推 出 





。 ULTRA 160 SCsl: 


将 并 行 SCS| 总 线 的 带宽 提高 一 倍 。 使 用 16 位 数据 总 线 ，LVD 技 术 、 双 边 时 钟 传输 技术 
， 可 以 使 同步 传输 带宽 达到 160MB/s 所 使 用 了 CRC 提 高 了 数据 完整 性 ， 并 根据 误 码 率 动 
态 调整 传输 速率 。 
。 ULTRA 320 SCSI 

16 位 数据 总 线 ， 使 用 LVD 技 术 * 箱 比 ULTRA 160 SCSI， 它 时 钟 输 率 提高 了 一 倍 ， 使 用 
快速 总 裁 和 选择 技术 、 读 写 数据 流 技 术 。 
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SCSI-3 接 口 规格 : 


we ce CSl-3 a 160 Mbit/s le 


be 一 长 平 > 下 七 wo 


wow 人 CC 
ee 


68-pin; 80-pin y 
SCA/SCA-2) b 


S = 
Ultra2 SCSI SPI-2 
1997) 
SCSI SPI-2 
Ultra-160; |SCSI-3 
Ultra3 SCS| |Fast-80 ISPI-3 
ide 1999) 
Ultra-4 
Ultra-320 
SCSI 





hroughput hroughput 


er Storage Architecture OO homes BzoMows be | 
SA 40 | hh looMHz _ |l80MB/s 640 Mbit/s 5 


Ee ee 
i 
i 


erial attached SCSI er 00 MB/s 2400 Mbit/s 16,256 


AS2.1 | I leGHz 600 MB/s 4800 Mbit/s 


二 ‘erialBusProtocol(SBP) |1 | lo00MB/s 3200 Mbit/s 


CSI scsi Express | CSl over PCle (SOP) SE i Ti 985 MB/s 787 和 wbitvs 


ATA Packet Interface 16  B3MHzDDR |133 MB/s ee 
i | | 


implementation- and network-dependenb 128 (IPv6) 


SCSI 
CSI RDMA Protocol (SCSI 和: a 
we InfiniBand and similar) implementation- and netwerk-depenident J 


16256 








其 他 相关 接口 介绍 
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SCSI 的 目标 器 和 启动 器 模型 


Client-Server Transaction 


Server Request 


Protocol Service 


Interface 





Service Delivery Subsystem 


(| a 
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Client, 即 initigtor 端 ， 向 Server 发 起 请 求 ，SErYyer 完 成 请 求 并 给 出 response。 
Server, 即 target 端 ， 接 受 client 发 过 来 的 请 求 并 执行 ， 最 后 将 结果 返回 给 client。 


Initiator 和 target 之 间 传 输 所 使 用 的 服务 传输 子 系统 (Service Delivery SubSystem) 
可 以 使 用 SAS 协 议 、FC 协 议 等 。 
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SCSI 拓 扑 举 例 \ 


Computer 


Disk Drive Disk Drive 


Host Adapter 


Board = SC8| 
Chip 回 Chip 口 


oe ID7 Controller Controller 


Initiator 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 


SCSl 是 典型 的 |-T 模 式 ，initiator (发 起 端 和 通过 线 缆 与 tfarget (目标 端 连接 ， 
initigtor 负 责 发 起 命令 ， 而 target 端 负责 解析 命令 ， 处 理 命令 并 向 initiator 返 回 结 果 。 

比较 典型 的 SCSl initiator 有 iSCSl inifiatoRs FC HBA、SAS HBA 等 ， 典 型 的 SCSI target 
有 磁盘 、 CD-ROM 等 。 


0 290 





SCSI 读 写 流 


E73 [nitiator | (T- 
| | 

| 1. SCSI 写 指令 | | 

2. CDB 信 息 | 
| 


， 3. 分 配 缓存 让 1! 
| 4. 可 以 传输 Pp 人 
Fr | 


5. 传输 数据 


1 一 一 一 一 


SCSI 数 据 Data-In (Write) 流程 ” “SCSI 数据 Bata-Out (Read) 流程 
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。 SCSI 写 流程 : 


1、 
2、 
3、 
4、 
D、 
6、 
/、 


应 用 客户 端 发 起 yC3SI 写 请 求 。 

SCSIInifiator 收 到 该 请 求 ， 将 该 命令 发 给 SCSITarget。 

SCslTarget 收 到 写 请 求 ,( 分 配 本 地 缓存 (用 于 存放 写 请 求 的 数据 ) 。 
SCSITarget 通知 95CslMnitigteor 本 地 缓存 分 配 完成 ， 可 以 进行 数据 传输 。 
SCSlInitiator 向 SCSETerget 发 送 数据 。 

SCSlTarget 向 SCohlnitiator 回 应 写 的 结果 。 

SCsl lnitiator 收 到 该 结果 并 将 其 通知 应 用 程序 ， 至 此 ， 写 流程 完成 。 


。 SCSI 读 流程 : 


1、 
2、 
3、 
4、 
55 


30 0 


应 用 客户 端 发 起 yC3| 读 请 求 。 

SCSlInifiator 收 到 该 请 求 ， 将 该 命令 发 给 SCSITargei。 

SG3SITarget 收 到 读 请 求 ， 分 配 本 地 缓存 〈 用 于 准备 读 请 求 的 数据 ) 。 
SCslTarget 将 数据 传输 给 SCSl lnitiator。 
SCsllnitigtor 通 过 应 用 程序 读 操 作 完成 。 


图 目录 
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0 310 


FC 协议 介绍 


。 FC(Fibre Channel)， 1994 年 由 ANSI 标 准 化 组 织 T10 制 定 的 适合 于 干 兆 位 数据 
传输 通信 的 网 络 技术 


X 
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。 高 速率 : 目前 单个 FC 端口 的 速率 可 以 达到 16GB/s。 

高 效率 : FC 极 低 的 误 码 率 (10 的 负 12 次 方 》、 可 靠 的 硬件 、8B/10B 编 码 、 灵 活 的 底层 
错误 恢复 机 制 等 使 其 链 路 利用 率 非常 高 。 

。 组 网 灵活 : 支持 Fabric、LoopP PR2R 等 组 网 方式 并 支持 这 几 种 方式 的 混合 组 网 。 


0 320 


FC 的 网 络 协议 栈 


ULP (Upper Level Protocol) 只 


-会 信 信 
IPI - 3 命令 集 映 SCS| 


命令 集 映 射 


射 
(IPI-3 STD) 


封装 /数据 传递 
FC Physical 8 
编码 / 解码 


物理 接口 
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3 FC 链 路 封装 


Eel 


FC-AL FC-AL-2 


Signaling Interface 
GEG=PHe EGPHZFG: 
PH3 ) 


8B/108B 编码 


Wb huawel 


。 FC 网 络 协议 栈 共 分 5 层 ， 分 别 为 FC-0，FC-1;=FC-2, FC-3,，FC-4。 


FC-0 : 
FC-1: 
FC-2: 网 络 层 ， 光 纤 通 道 的 核心 , 定义 了 帧 、 
FC-3: 定义 了 常用 服务 %% 如 数据 加 密 和 压缩 。 


FC-4: 
行 SCSI 协 议 ，HBA 趟 的 驱动 提供 了 FC-4 的 接 
SCS1，FC-IP /FE-VI。 


连接 物理 介质 的 界面 、 电 缆 等 ， 定 义 编码 和 解码 的 标准 。 
传输 协议 层 或 数据 链接 层 ， 编 码 或 解码 信号 。 


流 控制 、 和 服务 质量 等 。 


协议 映射 层 产 定义 了 光纤 通道 和 上 层 应 用 之 间 的 接口 ， 上 层 应 用 比如 : 串 


口 函数 。FC-4 支持 多 协议 ， 如 : FCP- 


光纤 通道 的 主要 部 分 实际 上 是 FC-2。 其 中 从 FC-0 到 FC-2 被 称 为 FC-PH， 也 就 是 “ 物 


理 层 ”4 光纤 通道 主要 通过 FC-2 来 进行 传输 
协议 ”或 者 “类 以 太 网 协议 ”。 


， 因 此 ， 光 纤 通道 也 常 被 成 为 “二 层 
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340 





光纤 网 的 拓扑 


点 对 点 光纤 仲裁 环 交换 式 光 纤 网 


FC-P2P - FCSW 


yy 
国 Tu 


三 J 同一) 一 避 | 
Ul 


只 能 连接 2 个 设备 最 多 支持 126 个 设备 最 多 支持 1600 万 个 设备 
(直接 连接 ) (光纤 集线器 ) 全 纤 网 交换 机 ) 
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PTP (点 对 点 ) : 一 般 用 于 DAS (〈 直 连 式 存储 ) 二 设置 


o 服务 器 和 存储 设备 在 点 对 点 的 环境 里 都 是 N_PORT. 通过 一 条 上 行 一 条 下 行 两 条 通道 
进行 数据 存储 与 读 取 。 

FC-AL (光纤 通道 仲裁 环 路 ) : 采用 FC-AL 仲 裁 环 机 制 ， 使 用 Token ( 令 牌 ) 的 方式 进 
行 仲裁 。 光 纤 环 路 端口 ， 或 交换 机 上 的 FL 端口 ， 和 HBA 上 的 NL 端口 (节点 环 ) 连接 ， 
支持 环 路 运行 。 采 用 FC-AL 架 构 % 当 一 个 设备 加 入 FC-AL 的 时 候 ， 或 出 现任 何 错误 或 需 
要 重新 设置 的 时 候 ， 环 路 就 必须 重新 初始 化 。 在 这 个 过 程 中 ， 所 有 的 通信 都 必须 暂时 中 
止 。 由 于 其 寻 址 机 制 ，FG-AL 理 论 上 被 限制 在 了 127 个 节点 。 

FC-SW (FC SwitEhed. 交换 式 光纤 通道 ) : 在 交换 式 SAN 上 运行 的 方式 。FC-SW 可 以 
按照 任意 方式 进行 连接 4 规避 了 仲裁 环 的 诸多 次 端 ， 但 需要 购买 支持 交换 架构 的 交换 模 
块 或 FC 交换 机 。 


点 到 点 式 光纤 网 络 (P2P) N 


点 到 点 式 光纤 网 络 


S 


800 MB/sec 
aa 
本 ren 


800 MB/sec 


应 用 服务 器 SAN 存 储 设 备 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reservé AN Page 22 NO HUAWEI 





在 点 到 点 式 光纤 通道 网 络 中 ， 使 用 光纤 通道 将 两 个 设备 进行 连接 。 这 种 方式 用 于 光纤 
通道 磁盘 阵列 的 最 初 实施 中 ， 相 对 而 言 , 尼 仍 然 是 一 种 直接 连接 存储 的 解决 方案 ,但 是 由 
于 使 用 光纤 网 络 而 使 得 带宽 得 到 了 较 大 的 提高 。 同 时 ， 长 达 10 公 里 的 传输 能 力 远 远 超过 了 
一 般 总 线 的 能 力 。 


0 350 


光纤 通道 仲裁 环 路 (FC-AL) 


光纤 通道 仲裁 环 


应 用 服务 器 A 


光纤 通道 仲裁 环 


应 用 服务 器 B 
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光纤 通道 仲裁 环 以 环 路 方式 使 用 光纤 通道 对 各 类 设备 进行 连接 。 仲 裁 环 中 的 设备 以 环 
路 方式 配置 ， 不 但 共享 带宽 ,而且 还 必须 对 网 络 的 通信 进行 仲裁 。 这 种 方式 借助 光纤 通道 
网 络 的 高 带宽 特性 提升 了 速度 ， 并 且 可 以 在 网 络 中 放置 额外 的 磁盘 阵列 ， 并 允许 更 多 的 服 
务 器 与 之 相连 。 光 纤 通 道 仲裁 环 结构 中 存在 着 较为 严重 的 延迟 问题 ， 特 别 是 随 着 加 入 到 仲 
裁 环 中 的 设备 数量 增多 ， 由 于 环 路 申 所 有 设备 共享 带宽 ， 所 以 每 个 设备 实际 能 获取 的 带宽 
减少 使 得 延迟 增加 。 这 也 导致 光纤 通道 仲裁 环 不 可 能 达到 交换 式 光纤 通道 光纤 网 络 的 性 能 
水 平 。 

仲裁 环 拓扑 结构 下 ， 当 有 新 的 节点 加 入 或 者 旧 的 节点 退出 时 ， 环 路 需要 重新 协商 。 


36 0 


交换 式 光纤 通道 网 络 (FC-SW) \ 


应 用 服务 器 应 用 服务 器 
光纤 网 交换 机 
交换 式 FC 网 络 


磁带 库 备 份 系统 
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交换 式 光纤 通道 网 络 是 采用 光纤 网 交换 机 构建 的 一 种 存储 网 络 。 这 种 网 络 交 换 机 类 似 
于 数据 网 络 中 所 使 用 的 以 太 网 交换 机 ， 不 过 它 是 基于 FC 协议 而 不 是 TCP/IP 协 议 。 交 换 式 
FC-SAN 在 建立 点 对 点 通信 和 方面， 类似 于 点 对 点 网 络 。 不 同 之 处 在 于 ， 它 所 建立 的 点 对 点 
连接 并 不 是 永久 性 的 ， 可 同时 并 发 很 多 点 对 点 的 虚 连接 。 通 过 光纤 网 络 交换 机 连接 起 来 的 
设备 可 以 独 享 带宽 ， 使 得 数据 传送 效率 不 再 受到 设备 连接 数量 的 影响 。 
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FC 的 三 种 拓扑 比较 


点 到 点 式 | ”仲裁 环 方式 光纤 交换 式 


合 


[=| 
十 


多 速率 传输 支持 





数据 帧 传输 顺序 按 发 送 顺序 按 发 送 顺序 


介质 访问 方式 独 享 仲裁 式 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. HUAWEI 





光线 通道 术语 中 的 “节点 ”是 指 通 过 网 络 进 行 通信 的 任何 实体 ， 而 不 一 定 是 一 个 硬件 
节点 。 这 个 节点 通常 是 一 个 设备 ， 比 如 说 一 个 磁盘 存储 器 、 服 务 器 上 的 一 个 主机 总 线 适 配 
器 或 者 是 一 个 光纤 网 交换 机 。 

点 到 点 式 : 两 个 设备 背 对 背 直 接连 接 % 这 是 最 简单 的 一 种 拓扑 ， 连 接 能 力 受 限 。 

仲裁 环 式 : 这 种 设计 方式 中 ， 所 有 设备 连接 在 一 个 类 似 于 令 牌 环 的 环 路 上 。 这 个 环 路 
中 添加 或 者 移 除 一 个 设备 会 导致 环 路 上 所 有 活动 中 断 。 一 个 设备 的 故障 导致 整个 环 路 不 能 
进行 工作 。 光 纤 通 道 集线器 能 够 用 于 将 众多 设备 连接 到 一 起 形成 一 个 逻辑 上 的 环 路 ， 并 且 
能 够 旁 路 故障 节点 ， 使 得 环 业 节点 的 故障 不 会 影响 整个 环 路 的 通信 。 一 个 环 路 也 可 以 通过 
使 用 线 缆 直 接 将 节点 广 个 接 一 个 的 连接 成 一 个 环 而 实现 。 最 小 的 环 路 只 包含 两 个 节点 ， 这 
种 结构 看 起 来 和 点 到 点 式 连 接近 似 ， 它 们 的 区 别 在 很 大 程度 上 取决 于 各 自 的 协议 。 


光纤 交换 式 : 所 有 的 设备 或 者 设备 环 都 被 连接 到 光纤 网 交换 机 上 ， 与 现 有 的 以 太 网 的 
实现 形式 在 概念 上 是 类 似 的 。 这 种 拓扑 结构 相对 于 点 到 点 和 仲裁 环 的 优势 在 于 : 


。 交换 机 对 结构 形式 进行 管理 ， 提 供 了 最 好 的 互联 形式 。 
。 ”多 对 节点 可 以 同时 通信 。 
。 人 各 个 节点 的 故障 是 独立 的 ， 不 会 危及 其 他 节点 的 正常 工作 。 
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。 标准 更 新 和 商用 规律 : FC 标 准 接口 速率 每 隔 36 一 48 年 个 月 进行 一 次 更 新 ， 在 新 标准 出 
来 后 ，12~24 个 月 实现 商用 (芯片 厂商 成 熟 推 出 芯片 并 有 厂商 开始 采用 )， 主 流 厂 商会 在 
2 年 内 陆续 推出 终端 存储 产品 .。 


。 每 代 标 准 商用 生命 周期 在 6 一 “年 左右 
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SAS 协 议 简 介 


。 SAS(Serial Attached SCSl) 主要 分 为 三 个 子 协 议 : 
oa SSP:Serial SCSI| Protocol 


o SMP:Serial Management Protocol 


D STP:Serial Tunneled Protocol 


。 并 行 SCS| 与 串 行 SCSI 的 比较 





SAS 即 串 行 连接 3CSl， 定 义 了 一 个 新 的 串 行 点 对 点 的 企业 级 存储 设备 接口 。3AS 1.0 
规范 2003 年 9 月 由 ANSI 通 过 发 布 ; SAS 2.0 规 范 于 2008 年 9 月 发 布 。 


SAs 协 议 主要 包含 以 下 三 个 子 协议 : 
。 SMP: SAS 设 备 之 间 的 信息 。 

。 SSP: SAS 域 中 兼容 SCSI 命 夸 
。 STP: SAS 域 中 兼容 SATA 命 令 。 
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SAS 的 优势 


上 可 以 连接 大 量 4 


磁盘 设备 


赴 
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。 低 成 本 : SAS 相 对 于 FC 成 本 低 很 多 。 
。 兼容 SAS、SATA: SAS 的 STP 协 议 就 是 用 来 兼容 SATA 的 。 
。 连接 设备 多 : 典型 的 SA5 组 网 最 多 可 以 容纳 一 万 六 干 多 个 设备 。 


。 高 性 能 : 目前 每 个 SAS Phy 的 速率 可 以 达到 6Gb/s, 一 般 四 个 Phy 组 成 一 个 端口 ， 这 样 每 
个 SAS 端 口 的 理论 速率 可 以 达到 24C>b/s。 
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Narrow link 


SAS addressA 去 
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SAS address X 


SAS addressB Wide link 


SAS addressY 
SAS addressB ~、 


my | reli {|] 


SAS addresgyY 
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。 Phy: SAS 协 议 收发 单元 由 一 个 发 送 器 和 一 个 接收 器 组 成 。 
。 端口 : 一 个 或 多 个 phy 组 成 一 个 端口 ， 二 个 Bhy 组 成 的 端口 称 为 窄 端 口 (Narrow Port 
) ， 多 个 phy 组 成 的 端口 称 为 宽 端口 \(Wide port) 。 
组 成 宽 端 口 的 几 个 bhy 其 SAS 地 址 相同 ， 与 之 相连 的 端口 的 几 个 phy 的 SAS 地 址 也 必须 
相同 。 
以 存储 常用 的 miniSAS 连 接 为 例 ， 由 4 个 速率 为 6Gb/s 的 单 端 口 组 成 宽 端 口 ， 速 率 为 
24Gb/s 
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Expander 


SAS/SATA disk 


SAS 适 配器 
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SAs 域 由 以 下 几 个 部 分 组 成 : SAS Exponder 终端 设备 、 连 接 设 备 〈 即 yAS 连 接线 费 
) 。 


。 ”SAS Expander: YAs 域 中 的 互联 设备 ， 类 似 于 以 太 网 交换 机 ， 通 过 Expander 的 级 联 
可 以 大 大 增加 终端 设备 的 连接 数 % 从 而 节约 HBA 花 费 。 终 端 设备 主要 有 两 种 : 


0 ”启动 器 (通常 为 SAS HBA 卡 )”。 
o ”目标 器 (SAS/SATA 硬 盘 避 也 可 以 是 处 于 目标 模式 的 HBA 卡 ) 。 
。 ”SAS 域 中 不 能 形成 环 路 、 以 保证 其 discovery 的 正常 进行 。 
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SAS 在 SAN 中 的 应 用 


。 以 S5000T 为 例 ，SAS 在 SAN 中 的 典型 应 用 如 图 所 示 


S5000T 存 储 


SAS Initiator 
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应 用 客户 端 通过 FC SAN 或 者 IP SAN 连 接 到 35000T 的 前 端 接口 卡 上 (FC 接口 卡 或 者 
iSCSI 接 口 卡 ) ， 此 时 S5000T 的 前 端 接口 末 作 为 目标 器 ， 应 用 客户 端 作 为 启动 器 。 他 们 之 
间 通 过 Csl 协 议 进行 交互 ， 而 35000T 又 通过 其 内 置 的 9As Initiator 连 接 到 磁盘 框 上， 这 些 
磁盘 框 是 最 终 提 供 存储 服务 的 物理 存储 设备 。 
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SAS 在 SAN 中 的 应 用 


。 在 阵列 内 部 ， 所 有 硬盘 均 为 Target， 存 储 控制 器 作为 Initiator 
对 所 有 硬盘 进行 控制 。 


SASs 控 制 器 〈 Initiator ) 
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SAS 的 未 来 发 展 趋势 


SAS 3.0 草 案 ”商用 


SAS 2.0 草 案 商用 


2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2018 2014 2015 2016 


数据 来 源 于 STA 及 产 
品 数据 分 析 
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标准 更 新 和 商用 规律 : 标准 每 隔 36~40 个 月 更 新 一 次 ， 传 输 速 率 翻番 (SAS 1.1 由 于 起 


步 推广 期 较 长 ). 下 一 次 更 新 周期 预计 在 201 1 年 下 半年 . 由 于 IC 厂商 争 相 抢占 先 机 ， 在 新 标 
准 草案 发 布 后 12 一 18 个 月 左右 开始 商用 (首先 是 服务 器 HBA 卡 市 场 )， 存 储 终端 厂商 在 标准 


草案 发 布 后 24 个 月 以 后 开始 应 用 于 终端 产品 。. 


每 一 代 标 准 商 用 生命 周期 在 4.5 写 5 年 左右 。 目 前 主流 产品 已 经 支持 6CSAS 接 口 。. 


e。 6GSAs: 
2010 年 ， 华 为 推出 95500TMSo5600T/36800T。 
。 12G5A5: 
2013 年 ， 华 为 S5560T/S5600T/S6800T 支 持 12GSAS 协 议 。 
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iSCSI 协议 简介 


IETF 提 出 的 基于 IP 协 允许 用 户 通过 其 访 
议 的 技术 标准 站 SAN 


SCSI 命 令 和 数据 以 IP 工作 在 SCSI 和 
帧 格式 传输 TCP/IP 之 间 
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通过 3CsI 控 制 卡 的 使 用 可 以 连接 多 个 设备 ,形成 自己 的 “网 络 ”， 但 是 这 个 “网 络 ” 
仅 局 限于 与 所 附加 的 主机 进行 通信 ， 并 不 能 在 以 太 网 上 共享 。 那么， 如 果 能 够 通过 SCSI 协 
议 组 成 网 络 ， 并 且 能 够 直接 挂 载 到 以 太 网 ， 作 为 网 络 节点 和 其 它 设备 进行 互联 共享 ， 那 
么 SC3| 就 可 以 得 到 更 为 广泛 的 应 用 。 所 詹 、 经 过 对 YCsYI 的 改进 ， 就 推出 了 Cs 这 个 协议 。 
基于 SCsI 协 议 的 IP-SAN 是 把 用 户 的 请 求 转换 成 yCsI 代 码 ， 并 将 数据 封装 进 IP 包 内 在 以 太 网 
中 进行 传输 。 

i9C9| 方 案 最 早 是 由 CisG@ 和 1IBM 两 家 发 起 ， 并 且 由 Adapftec、Cisco、HP、IBM、 
Quantum 等 公司 共同 倡导 。 它 提供 基于 TCP 传 输 ， 将 数据 驻 留 与 5SCSI 设 备 的 方法 。iSCS| 
标准 草案 在 2001 年 推出 ， 并 经 过 多 次 论证 和 修改 ， 于 2002 年 提交 IETF， 在 2003 年 2 月 ， 
iCsl 标 准 正 式 发 布 。iCsl 技 术 的 重要 贡献 在 于 其 对 传统 技术 的 继承 和 发 展 : 其 一 ，5SC5l 

(Small Computer System Interface， 小 型 计算 机 系统 接口 ) 技术 是 被 磁盘 、 磁 带 等 设 
备 广泛 采用 的 存储 标准 ， 从 1986 年 诞生 起 到 现在 仍然 保持 着 良好 的 发 展 势 头 ; 其 二 ， 沿 
TCP/AP 协 议和 ICP/IP 在 网 络 方面 是 最 通用 、 最 成 熟 的 协议 且 IP 网 络 的 基础 建设 非常 完善 。 
这 两 点 为 SESI 的 无 限 扩 展 提供 了 坚实 的 基础 。 

IP 网 络 的 普及 性 将 使 得 数据 可 以 通过 LAN、WAN 或 者 是 通过 Internet 利 用 新 型 IP 存 储 
协议 传输 ,，iSC5I 既 是 在 这 个 思想 的 指导 下 进行 研究 和 开发 的 。iSCSl 是 基于 IP 协 议 的 技术 标 
准 ， 实 现 了 SCSl 和 TCP/IP 协 议 的 融合 ， 对 众多 的 以 太 网 用 户 而 言 ， 只 需要 极 少 的 投资 ， 就 
可 以 方便 、 快 捷 地 对 信息 和 数据 进行 交互 式 传输 和 管理 。 
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iSCSI 协 议 位 于 TCP/AIP 协 议和 SC5I 协 议 之 间 ,* 可 以 起 到 连接 这 两 种 协议 网 络 的 作用 。 在 
物理 层 ，iSCSI 实 现 了 对 干粮 以 太 网 接口 的 支持 ， 这 使 得 所 有 支持 iSCSI 接 口 的 系统 都 可 以 
方便 的 直接 连接 到 干粮 以 太 网 的 路 由 器 或 者 交换 机 上 。iSCSl 位 于 物理 层 和 数据 链 路 层 之 上 
， 直 接 面 向 操作 系统 的 标准 SC3I 命 令 集 。 


在 iSCSIl 通 信 中 ， 具 有 一 个 发 起 l/O 〇 请 求 的 启动 设备 (Initiator) 和 响应 请 求 并 执行 实际 
I/O 操 作 的 目标 设备 〈Target)% 在 启动 设备 和 目标 设备 建立 连接 后 ， 目 标 设备 在 操作 中 
作为 主 设备 控制 整个 工作 过 程 。 在 一 般 情况 下 将 主机 总 线 适配器 (HBA) 作为 启动 设备 ， 
磁盘 /磁带 作为 目标 设备 。iSCsI 使 用 SCSI Name 来 唯一 鉴别 启动 设备 和 目标 设备 。 地 址 会 
随 着 启动 设备 和 目标 设备 的 移动 而 改变 ， 但 是 名 字 始 终 是 不 变 的 。 建 立 连 接 时 ， 启 动 设备 
发 出 一 个 请 求 ， 目 标 设备 接收 到 请 求 后 ， 确 认 启 动 设 备 发 起 的 请 求 中 所 携带 的 iSCSI 
Nome 是 否 与 目标 设备 绑 定 的 SC3S| Name 一 致 ， 如 果 一 致 ， 便 建立 通信 连接 。 每 个 SCs3| 
节点 只 允许 有 一 个 SC3SI Name， 一 个 SC3SI Name 可 以 被 用 来 建立 一 个 启动 设备 到 多 个 目 
标 设备 的 连接 ， 多 个 iSCSl Name 可 以 被 用 来 建立 一 个 目标 设备 到 多 个 启动 设备 的 连接 。 
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在 iSCSI 启动 器 上 用 户 发 起 了 一 个 SCSI 请 求 闪 操作 系统 将 请 求 处 理 为 一 条 或 多 条 SCSI 指 
令 ， 由 CPU 或 者 是 HBA 卡 对 指令 或 数据 进行 封装 形成 一 个 SCSl 报 文 ， 然 后 传送 给 TCP/IP 
层 ， 由 TCP/IP 协 议 把 SCSI 报 文 封装 成 IP 色 并 在 网 络 中 传输 。 当 该 报 文 到 达 目 的 端 以 后 
TCP/IP 协 议 将 数据 包 进行 解 封装 ， 还 原 战 一 个 SCSI 封 装 报 文 ， 再 将 iSCSI 包 还 原 为 SCSI 指 
令 ， 交 由 操作 系统 处 理 。 


0 310 


iSCSI 会 话 连接 


。 iSCSI 协 议 的 会 话 就 是 在 一 个 网 络 上 封包 和 解 包 的 过 程 。 


。 iSCS5I 会 话 建 立 前 必须 先 建立 TCP 连 接 ， 当 TCP 经 过 三 次 握手 建立 起 连接 之 
后 才能 建立 iSCSI 会 话 。 


。 一 个 TCP 会 话 中 可 以 包含 一 个 或 者 多 个 iSCSI 会 话 。 
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iSC5I 协 议 的 会 话 就 是 在 一 个 网 络 上 封包 和 人 解 包 的 过 程 。 在 网 络 的 一 端 ， 数 据 包 被 封装 
成 包括 TCP/IP 头 、iSCSI 识 别 包 和 3CsI 数 据 三 部 分 内 容 。 当 数据 包 被 传输 至 网 络 另 一 端 时 
， 这 三 部 分 内 容 分 别 被 有 序 的 解 封 装 , A 还 原 为 原始 的 SCS| 数 据 。iSC3I 会 话 建立 前 必须 先 建 
立 TCP 连 接 ， 当 TCP 经 过 三 次 握手 建立 起 连接 之 后 才能 建立 iSCSI 会 话 。 一 个 TCP 会 话 中 可 
以 包含 一 个 或 者 多 个 iSCSI 会 话 。 


启动 器 设备 可 以 通过 下 列 方法 发 现 目标 设备 。 





。 在 启动 设备 上 设置 目标 设备 的 地 址 。 


。 在 启动 设备 上 设置 默认 目标 设备 地 址 ， 启 动 设备 可 通过 “Send Targets” 命 令 从 加 
认 目 标 设 备 上 获取 iSCSI 名 字 列 表 。 


。 发 出 服务 定位 协议 (Service Location Protocol，SLP) 广播 请 求 ， 等 待 目标 设备 
回应 


。 /查询 存储 设备 名 字 服 务 器 ， 获 取 可 访问 的 目标 设备 列表 。 
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iSCSI Discovery 会 话 


。 Discovery 会 话 仅 用 于 iSCsl Target discovery 而 建立 的 会 话 


Initiator Target 
建立 TCP 会 话 〈 三 次 握手 ) 
TCP 


Login Request 
Discovery Session 
Login Response 


LoginRequest | 一 > 
Parameter Session 
Login Response 


Text Request 
Send Target 


TextResponse 
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iSCSI 有 两 种 会 分 别 是 Discovery 会 话 和 Nermql 会 话 。Discovery 会 话 仅 用 于 iSCSI 
Target en 话 。Normal 会 话 是 无 限制 会 话 ，iSC3I 无 需 执行 yend 
Target 命 令 发 现 请 求 ，iSCSI Inifiator 直 接 使 用 iSCSI Target 的 名 字 来 建立 iSCSI 会 话 ， 会 话 
建立 后 可 执行 SC3I 完 整 功能 。 


e。 iSCSI 的 Discovery 会 话 


在 建立 iSCSI 会 话 前 需要 先 建 立 TCP 连 接 ，TCP 连 接 通 过 三 次 握手 过 程 来 建立 。 
而 Discovery 会 话 的 建立 分 为 三 个 阶段 ， 首 先是 Initiator 和 Toarget 之 间 的 登录 参数 
协商 阶段 ， Inifiator 发 送 Legin Request 报 文 请 求 登 录 ，Torget 在 收 到 请 求 信息 后 
返回 Login Response 报 文 给 Inifiafor， 同 意 Initiator 登 录 ， 从 而 完成 初步 的 登录 协 
商 。 在 登录 之 后 ,传达 数据 之 前 还 需要 进行 一 次 从 参数 的 协商 ， 这 个 过 程 被 称 为 完 
整 功能 状态 下 的 参数 协商 。 i eh Torget 命 令 请 求 报 文 Text 
Request, /forgef 端 收 到 请 求 报 文 以 后 ， 查 询 到 网 络 中 存在 的 iSCSI 信息 后 发 送 
Text Respense 报 文 给 Inifiafor， 并 返回 一 ee 车 的 iSCSI Target 的 信息 ， 最 
终 建立 会 话 。 
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iSCSI Normal 会 话 


e。 Normql 会 话 是 无 限制 会 话 iSCSI Initiator 直 接 使 用 iSCSI Target 的 名 
字 来 建立 iSCSI 会 话 ， 会 话 建立 后 可 执行 SCSI 完 整 功能 。 


Initiator Target 


建立 TCP 会 话 〈 三 次 握手 ) 
TCP 
iSCSI 登录 
登录 应 答 
可 选 文本 指令 
iSCSI 驱动 程序 iSCSI 驱 万 
文本 应 答 i 驱动 程序 
其 他 多 次 登录 
登录 应 答 
登录 成 功 ， 进 入 完整 功能 阶段 
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iSCSI normal 会 话 分 以 下 三 个 阶段 : 

。 登录 阶段 : 初始 化 登录 阶段 、 安 全 认证 阶段 和 操作 协商 

。 完整 功能 阶段 

。 登 出 阶段 

iSCSI 的 登录 阶段 等 同 于 FG 端 口 登录 过 程 。 该 过 程 用 来 在 两 个 网 络 实体 间 调 整 各 
个 参数 并 确认 登录 的 访问 权限 。 如 果 iSCSl 登 录 阶 段 成 功 完成 ， 目 标 设 备 将 确认 启 
动 设备 的 登录 ， 否 则 登录 将 不 确认 ， 同 时 TCP 连 接 中 断 。 

登录 一 旦 确认 ，jiSCSI 会 话 将 进入 完整 功能 阶段 。 如 果 建 立 了 多 个 TCP 连 接 ， 
iSCSI 将 要 求 每 个 命令 /响应 对 应 一 个 TCP 连 接 。 但 是 ， 不 同 的 数据 传输 可 以 在 一 个 
会 话 中 通过 不 同 的 TCP 连 接 。 在 数据 传送 端 ， 启 动 器 发 送 /接收 最 新 的 数据 ， 而 目 
标 器 在 完成 数据 传输 后 发 送 确认 响应 。iSCSI 注 销 命令 用 来 结束 一 个 会 话 ， 在 出 现 
连接 错误 的 时 候 也 会 发 送 它 ， 以 实现 连接 中 断 处 理 。iSC3l 登 录 是 用 来 在 启动 设备 
和 目标 设备 之 间 建 立 TCP 连 接 的 机 制 。 登 录 的 作用 包括 鉴别 通信 双方 ， 协 商会 话 参 
数 ， 打 开 相 关 安 全 协议 并 且 给 属于 该 会 话 的 连接 作 标 志 。 

登录 过 程 完成 后 ，iSCSI 会 话 进 入 全 功能 状态 (Full Feature Phase) ， 这 时 启 
动 设备 就 能 通过 iSC5I 协 议 访 问 目标 设备 里 的 各 逻辑 单元 了 。 


iSCSI 会 话 拆除 时 ，Initiator 首 先 向 Target 发 送 Logout Request 请 求 报 文 ， 
Target 接 受到 请 求 报 文 后 返回 相应 的 LOgout Response 报 文 ， 至 此 ，iSCSlI 会 话 可 
以 拆除 。 在 拆除 iSCSI 会 话 后 还 需要 拆除 TCP 连 接 ，TCP 和 连接 的 拆除 是 通过 四 次 握手 


来 完成 的 。 
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iSCSI 协议 的 优点 


iSCSI 协议 的 优点 
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iSCSI 协 议 与 FC 及 其 他 协议 相 比 具有 一 定 的 优势 ， 也 正 因 为 如 此 ， 得 到 用 户 广 泛 的 认可 

。 与 光纤 通道 相 比 ， 在 连接 距离 上 比 FC-SAN 强 ， 它 可 突破 FC-SAN 目 前 10 公 里 的 极限 ， 扩 

展 到 整个 NAN 上 。 另 外 ，iSCS| 更 加 经 济 , 落成 本 的 节约 又 体现 在 以 下 几 个 方面 : 

。 因为 使 用 的 是 传统 的 IP ， 用 户 有 良好 的 使 用 基础 ， 所 以 在 培训 方面 的 费用 可 大 大 降低 ， 
而 且 也 不 必 设 立 单独 的 岗位 。 

。 iSCSI 可 利用 现 有 的 、 容 易 理解 的 TEP/IP 基 础 设施 来 构建 SAN， 网 络 部 署 成 本 也 将 大 大 
降低 。 

。 随 着 干 兆 以 太 网 的 应 用 S, 用户 将 可 得 到 传输 速率 为 1Cbps 的 存储 网 络 ， 而 不 需 改变 现 
有 的 基础 设施 ， 在 维护 和 管理 方面 同样 可 降低 成 本 。 
相对 其 他 协议 来 说 iSC5Il 技 术 具 有 如 下 优势 : 

。 带宽 高 : 随 着 技术 的 进步 ，IP 网 络 的 带宽 的 发 展 相 当 迅 速 ，1Gbps 的 以 太 网 早已 大 量 占 
据 市 场 ，10Cbps 以 太 网 的 应 用 也 已 开始 启动 。 而 且 ， 该 协议 得 到 IBM、Cisco、Intel 
、Brocode 和 Adaptec 等 业界 厂商 的 支持 ， 发 展 前 景 恨 好 。 

。 可 用 性 强人 在 技术 实施 方面 ，iSC3SI 以 稳健 、 有 效 的 IP 及 以 太 网 架构 为 骨干 ， 使 网 络 的 
可 用 性 大 大 增强 。 

。 [动能 强 ” 完全 解决 了 数据 远程 复制 (Data Replicafion) 及 灾难 恢复 (Disaster 
Reeovery) 的 难题 。 

。 安全 性 高 : 以 往 的 FC-SAN 及 DAS 大 都 是 在 封闭 的 环境 内 ， 安 全 要 求 相 对 较 低 。 iSCSI 
却 将 这 种 概念 颠倒 过 来 ， 让 存储 的 数据 在 互联 网 内 流通 ， 令 用 户 感到 需要 提升 安全 要 求 
， 而 iSCSI 已 内 建 了 支持 IP Sec 的 机 制 ， 并 且 在 芯片 层面 执行 有 关 指 令 ， 确 保 了 安全 性 。 
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iSCSI 的 几 种 连接 方式 


以 太 网 卡 硬件 TOE 网 卡 iSCSI HBA 卡 实现 
+Initiator 软 件 +initiator 软 件 方式 方式 ] 


SR 
< 
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iSCSI 设备 的 主机 接口 一 般 默认 都 是 |P 接 口 ,何必 直接 与 以 太 网 络 交换 机 和 iSCSI 交换 机 


连接 ， 形 成 一 个 存储 区 域 网 络 。 根 据 主机 端 HBA 卡 、 网 络 交 换 机 的 不 同 ，iSCSI 设 备 与 主机 


之 


间 有 三 种 连接 方式 。 


。 以 太 网 卡 +Initiator 软 件 方式 : 采用 通用 以 太 网 卡 实现 网 络 连 接 ， 主 机 CPU 通 过 运行 软 


56 口 


件 完成 SCSl 层 和 TCP/IP 协 议 栈 的 功能 。 由 于 采用 标准 网 卡 ， 因 此 这 种 方式 的 硬件 成 本 
最 低 。 但 主机 的 运行 开销 大 大 增加 ;造成 主机 系统 性 能 下 降 。 实 验证 明 ， 当 通信 和 量 增 大 
时 ， 主 机 CPU 的 利用 率 可 达 20% 以 上 。 

硬件 TOE 网 卡 + Initiator 软 件 方 式 : 采用 特定 的 智能 网 卡 ，iSCSI 层 的 功能 由 主机 来 完成 
， 而 TCP/IP 协 议 栈 的 功能 由 网 卡 来 完成 。 与 纯 软 件 方式 相 比 ， 部 分 降低 了 主机 的 运行 
开销 。 


iSCSI HBA 卡 实现 方式 : iSC5I 层 和 TCP/IP 协 议 栈 的 功能 均 由 主机 总 线 适配器 来 完成 ， 对 
主机 CPU 的 需求 最 少 。 


iSCSI 在 SAN 中 的 应 用 


服务 器 A 二 服务 器 B 


LUN1S3 LUN2 3 
= 


一 


iSCSI 存储 设备 


LUN1 LUN2 LUN3 
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使 用 iSCSI 构 建 的 IP-SAN 和 FC-SAN 一 样 具备 良好 的 扩展 性 和 灵活 性 ， 可 通过 网 络 交换 
设备 与 多 台 主 机 连接 。 通 过 网 络 交换 设备 连接 时 ，i9Csl 存 储 上 的 LUN 对 于 主机 而 言 相当 于 
裸 设备 ， 因 此 需要 注意 文件 系统 的 管理 问题 。iSCSl 设 备 上 创建 多 个 LUN， 不 同 的 LUN 划 分 
给 不 同 的 主机 ， 使 得 各 主机 可 以 分 别管 理 和 访问 自己 的 LUN 这 就 相当 于 将 网 络 中 多 个 主机 


的 本 地 磁盘 集中 放置 在 一 个 网 络 化 的 存储 设备 中 ， 主 机 之 间 实 现存 储 硬件 设备 的 共享 。 
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全 目录 


1，SAN 存 储 系统 及 结构 
2. SAN 主 要 协议 
3. NAS 存 储 系 统 及 结构 


4，NAS 文 件 共享 协议 
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什么 是 NAS ? ， 


。 拥有 可 访问 的 磁盘 阵列 
。 拥有 文件 系统 
。 对 外 提供 访问 文件 系统 的 接口 
Network Attached Storage 





Mb Huawel 


NAS 是 Network Attached Storage 的 简称 ,/ 中 文 称 为 网 络 附加 存储 。 按 字面 简单 说 
是 连接 在 网 络 上 ， 具 备 资料 存储 功能 的 设备 疙 因此 也 称 为 “网 络 存储 器 ”或 者 “网 络 磁盘 
阵列 ”。 在 NAS 存 储 结构 中 ， 存 储 系统 不 再 通过 |/O 〇 总线 附 属于 某 个 服务 器 或 客户 机 ， 而 
直接 通过 网 络 接口 与 网 络 直接 相连 ， 由 用 户 通过 网 络 访问 。 NAS 实 际 上 是 一 个 带 有 瘦 服 务 
器 的 存储 设备 ， 其 作用 类 似 于 一 个 专用 的 文件 服务 器 。 这 种 专用 存储 服务 器 去 掉 了 通用 服 
务 器 原 有 的 不 适用 的 大 多 数 计算 功能 ,而 仅仅 提供 文件 系统 功能 。 与 传统 以 服务 器 为 中 心 
的 存储 系统 相 比 ， 数 据 不 再 通过 服务 器 内 存 转 发 ， 直 接 在 客户 机 和 存储 设备 间 传 送 ， 服 务 
器 仅 起 控制 管理 的 作用 。 


一 套 简 单 的 NAS 系 统 可 以 由 一 人 台 标 准 的 运行 Linux 或 者 微软 WSS (Windows Server) 
的 服务 器 构成 。 
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什么 是 NAS? 


。 NAS 网 络 拓 扑 图 


Windows 客 户 端 UNIX 客 户 端 


UNIX 服 务 器 
Windows 服 务 器 
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NAS 本 身 能 够 支持 多 种 协议 (如 NFS、CIFSCLFTP、HTTP 等 ) ， 而 且 能 够 支持 各 种 操作 
系统 。 通 过 任何 一 台 工 作 站 ， 采用 IE 或 Netscqpe 浏 览 器 就 可 以 对 NAS 设 备 进行 直观 方便 
的 管理 。 

NAS 和 SAN 最 大 的 区 别 就 在 于 NAS 有 文件 操作 和 管理 系统 ， 而 SAN 却 没有 这 样 的 系统 
功能 ， 其 功能 仅仅 停留 在 文件 管理 的 下 一 层 ， 即 数据 管理 。SAN 和 NAS 并 不 是 相互 冲突 的 ， 
是 可 以 共存 于 一 个 系统 网 络 中 的 ,但 NAS 通 过 一 个 公共 的 接口 实现 空间 的 管理 和 资源 共享 ， 
SAN 仅 仅 是 为 服务 器 存储 数据 提供 一 个 专门 的 快速 后 方 通道 。 

为 什么 FTP 文 件 服务 不 属于 NAS? FTP 只 能 将 文件 传输 到 本 地 的 目录 之 后 才能 执行 ， 而 
网 络 文件 系统 可 以 允许 直接 问 源 端 的 文件 ， 不 需要 将 数据 复制 到 本 地 再 访问 。 
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NAS 技 术 分 析 


存储 管理 模块 Os 文件 系统 模块 


。 操作 系统 。 NFS 
。 文件 系统 。 CIFS 以 
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。 NAS 的 主要 技术 包括 三 个 方面 : 存储 管理 模块 、 OS 文件 系统 模块 、 网 络 模 块 。 


存储 管理 模块 是 指 后 端 存储 部 分 这 部 分 功能 模块 提供 了 真正 的 物理 存储 空间 
主要 技术 是 RAID、SCSIl、SAS% FC 

O 〇 OS 文件 系统 是 指 NAS5| 擎 部 分 ， 这 部 分 提供 了 NAS 底 层 所 是 使 用 的 文件 系统 ， 
及 承载 文件 系统 、 各 种 前 端 协议 的 操作 系统 。 


以 


网 络 模块 提供 了 和 用 户 交 五 的 网 络 协议 ， 主 要 包括 NF3 和 CIF3 ， 用 户 最 终 通过 这 


些 协议 访问 存储 空间 
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NAS 技 术 分 析 


mn 下 下 豆 可 通过 Web 进 行 管理 


CNFS,CIF GUI 界 面 
设备 监视 与 控制 ; 
设备 配置 : 网络、 
着 、 文 人 大 取 权限 | 
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NAS 系 统 软件 设计 的 基本 要 求 是 较 高 的 稳定 性 和 I/O 〇 吞吐 率 ， 并 能 满足 数据 共享 、 数 
据 备份 、 安 全 配置 、 设 备 管 理 等 要 求 。 该 结构 分 为 五 个 模块 : 操作 系统 、 存 储 管理 器 、 文 
件 系统 、 网 络 文件 共享 和 GUI 管 理 模 块 % 


鉴于 LinUx、FreeBSD 等 免费 的 开放 源码 操作 系统 具有 稳定 、 可 靠 、 高 效 的 优秀 特性 ， 
现在 大 部 分 NAS 设 备 都 是 基于 此 类 操作 系统 开发 的 。 


存储 管理 器 的 主要 功能 是 磁盘 和 分 区 的 管理 ， 主 要 包括 磁盘 的 监测 与 异常 处 理 和 逻辑 
卷 的 配置 管理 ， 一 般 应 文 持 磁 盘 的 热 插 拔 、 热 蔡 换 等 功能 和 RAIDO、RAID1、RAID5 类 型 
的 逻辑 卷 。 存 储 管 理 器 实现 简化 的 、 集 中 的 存储 管理 功能 ， 保 证 数据 的 完整 性 ， 并 增强 数 
据 的 可 用 性 。 


文件 系统 提供 持久 性 存储 和 管理 数据 的 手段 ， 它 必须 是 32 位 或 以 上 并 能 支持 多 用 户 ， 
应 具备 日 志文 件 系统 功能 以 使 系统 在 骨 溃 或 掉 电 重启 后 能 迅速 恢复 文件 系统 的 一 般 性 和 完 
整 性 ， 进 一 步 提供 NAs 的 可 用 性 。 此 外 ， 文 件 系统 还 应 具有 快照 功能 。 快 照 不 仅 能 恢复 被 
用 户 错误 修改 或 删除 的 文件 ， 而 且 能 实现 备份 窗口 为 零 的 文件 系统 活 备份 。 

网 络 文件 共享 一 般 支 持 以 下 一 些 文件 传输 和 共享 协议 ， 如 FTP 和 HTTP 协 议 、Unix 系 统 
的 NFSNSWindows 系 统 的 ClIFS、Novell 系 统 的 NCP (Novell core protocol) 、Apple 系 
统 的 AFP (appletalk file protocol) 等 ， 因 此 NAS 设 备 具有 较 好 的 协议 独立 性 。 

GUI 管 理 提供 给 系统 管理 员 一 个 友好 的 界面 ， 使 之 仅 通过 web 浏 览 器 操作 就 能 远程 监 
视 和 管理 NAS 设 备 的 系统 参数 ， 如 : 网 络 配 置 、 用 户 与 组 管理 、 卷 以 及 文件 共享 权限 等 。 
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网 络 模块 








二 CIFS 或 NFS 协 议 
CIFS 或 NFS 协 议 协议 
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NAS 设 备 中 所 包含 的 标准 文件 系统 可 以 对 公用 互联 网 文件 系统 (CIFS) 或 是 网 络 文件 
系统 (NFS) 提供 支持 ， 也 有 可 能 同时 支持 二 者 。 在 许多 情况 下 ， 它 都 使 用 标准 的 网 络 文 
件 系 统 来 作为 NAS 专 用 文件 系统 的 接 轧 。 犬 多 数 NAS 设 备 需要 用 这 种 方式 来 管理 其 自身 的 
存储 资源 。 

NFS (网 络 文件 系统 ) 是 Unix 系 统 间 实 现 磁 盘 文 件 共 享 的 一 种 方法 ， 支 持 应 用 程序 在 
客户 端 通过 网 络 存 取 位 于 服务 器 磁盘 中 数据 的 一 种 文件 系统 协议 。 其 实 它 包括 许多 种 协议 ， 
最 简单 的 网 络 文件 系统 是 网 络 逻 辑 磁 盘 ， 即 客户 端的 文件 系统 通过 网 络 操作 位 于 远 端 的 逻 
辑 磁盘 。 现 一 般 在 Unix 主 机 之 间 采 用 Sun 开 发 的 NFS (Sun) ， 它 能 够 在 所 有 Unix 系 统 之 间 
实现 文件 数据 的 互 访 ,逐渐 成 为 主机 间 共 享 资源 的 一 个 标准 。 


CIFS 是 由 微软 开发 的 , /用 于 连接 Windows 客 户 机 和 服务 器 。 经 过 Unix 服 务 器 厂商 的 重 
新 开发 后 ， 它 可 以 用 于 连接 Windows 客 户 机 和 Unix 服 务 器 ， 执 行文 件 共享 和 打印 等 任务 。 
它 最 早 的 由 来 是 NetBIOS， 这 是 微软 开发 的 在 局 域 网 内 实现 基于 Windows 名 称 资源 共享 的 
APl。 之 后 4 产生 了 基于 NetBIOS 的 NetBEUI 协 议和 NBT(NetBIOS OVER TCP/IP) 协 议 。 
NBT 协 议 进 六 步 发 展 为 SMB (Server Message Block Potocol) 和 CIFS (Common 
Internét file System， 通用 互联 网 文件 系统 ) 协议 。 其 中 ，CIFS 用 于 Windows 系 统 ， 而 
SMB 广 泛 用 于 Unix 和 Linux， 两 者 可 以 互通 。SMB 协 议 还 被 称 作 LanManager 协 议 。CIFS 
支持 与 ;MB 的 服务 器 通信 而 实现 共享 。 微 软 操 作 系 统 家 族 和 几乎 所 有 Unix 服 务 器 都 支持 
SMB 协 议 /SAMBA 软 件 包 。 


CIF3 和 NFS 的 对 比 : CIFS 面 向 网 络 连接 的 共享 协议 ， 对 网 络 传输 的 可 靠 性 要 求 高 ， 常 
使 用 TCP; NFS 是 独 立 于 传输 的 ， 可 使 用 TCP 或 UDP。 
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CIFS 是 什么 \ 


。 CIFS (Common Internet File System)， 通 用 Internet 文 件 系 统 ， 一 个 新 提 
出 的 协议 ， 它 使 程序 可 以 访问 远程 Internet 计 算 机 上 的 文件 并 要 求 此 计算 机 
的 服务 。 

。 CIFS 是 公共 的 或 开放 的 SMB 协 议 版 本 ,包含 主要 模块 有 NBT、 忆 


Browsing 
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CIFS 使 用 客户 /服务 器 模式 ， 客 户 程 序 请 求 远 和 在 服务 器 上 的 服务 器 程序 为 它 提供 服务 ， 
服务 器 获得 请 求 并 返回 响应 。 


0 650 

















全 目录 


. SAN 存储 系统 及 结构 
.SAN 主要 协议 
. NAs 存 储 系统 及 结构 
. NAS 文 件 共享 协议 
4.1 CIFS 协 议 
4.2 NFS 协 议 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





0 670 


NFS 主 要 模块 : RPC、 鉴 权 、 传 输 


。 NFS (Network File System ) -网 络 文件 系统 
o NFS (网 络 文件 系统 ) 是 Unix 系 统 间 实现 磁盘 文件 共享 的 一 种 方 
法 ， 支 持 应 用 程序 在 客户 端 通过 网 络 存 取 位 于 服务 器 磁盘 中 数据 
的 一 种 文件 系统 协议 。 X 
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NFS (Network File System， 网 络 文件 系统 ) 是 当前 主流 异 构 平台 共享 文件 系统 之 一 。 
主要 应 用 在 UNIX 环 境 下 。 最 早 是 由 SUN8microsystem 开 发 ， 现 在 能 够 支持 在 不 同类 型 的 
系统 之 间 通 过 网 络 进行 文件 共享 ， 广 泛 应 用 在 FreeBSD、SCO、Solaris 等 等 异 构 操作 系统 
平台 ， 人 允许 一 个 系统 在 网 络 上 与 它 人 共享 目录 和 文件 。 通 过 使 用 NFS ， 用 户 和 程序 可 以 象 
访问 本 地 文件 一 样 访问 远 端 系统 上 的 文件 ， 使 得 每 个 计算 机 的 节点 能 够 像 使 用 本 地 资源 一 
样 方便 地 使 用 网 上 资源 。 换 言 之 。NFS 可 用 于 不 同类 型 计算 机 、 操 作 系 统 、 网 络 架构 和 传 
输 协议 运行 环境 中 的 网 络 文件 远程 访问 和 共享 。 


NFS 的 工作 原理 是 使 用 客户 端 /服务 器 染 构 ， 由 一 个 客户 端 程序 和 服务 器 程序 组 成 。 服 
务 器 程序 向 其 它 计算 机 提供 对 文件 系统 的 访问 ， 其 过 程 就 叫做 “输出 ”。NFS 客户 端 程序 
对 共享 文件 系统 进行 访问 上 时， 把 它们 从 NFS 服务 器 中 “输送 ”出 来 。 文 件 通常 以 “ 块 ” 
为 单位 进行 传输 .其 尺寸 是 8K (虽然 它 可 能 会 将 操作 分 成 更 小 尺寸 的 分 片 ).NFS 传输 协议 用 
于 服务 器 和 客户 机 之 间 文 件 访问 和 共享 的 通信 ， 从 而 使 客户 机 远程 地 访问 保存 在 存储 设备 
上 的 数据 。 
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NFS 工 作 流程 ， 当 NFS 客 户 端 发 送 请 求 访问 远 端 NFS 服 务 器 上 的 文件 时 ， 内 核 会 通过 
VFS 层 ， 将 请 求 通过 RPC 发 送 到 远 端的 NES 服务 器 ，RPC 可 以 通过 TCP/UDP 来 进行 传输 ， 
然后 NFS 服 务 器 在 2049 端 口 接收 到 NFS 客 户 端 的 RPC 请 求 ， 并 将 其 转发 到 NFS 服 务 器 的 本 
地 文件 系统 。 

NFS 服 务 器 在 请 求 完成 后 ， 会 将 结果 通过 RPC 发 送 回 执 到 NFS 客 户 端 ， 其 中 有 两 点 需 
要 注意 : 

。 “NFS 服务 器 发 送 回执 到 NFS 客 户 端 需要 一 定 的 时 间 ， 此 时 NFS 服 务 器 同时 仍然 能 响应 其 

他 的 NFS 客 户 端 请 求 ， 此 时 服务 器 上 存在 多 个 NFSD 的 进程 。 

。 ”在 NFS 客 户 端 也 存在 相同 的 情况 ，NFS 客 户 端 会 存在 多 个 biod 进 程 ， 用 于 发 送 NFS 请 

求 。 
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RPC (ReMmote Procedure Call) 


口 


NFS 本 身 不 提供 信息 传输 的 协议 和 功能 ， 而 是 使 用 了 一 些 其 它 的 传输 协议 。 而 这 
些 传 输 协议 用 到 这 个 RPC 功 能 的 。 可 以 说 NFS 本 身 就 是 使 用 RPC 的 一 个 程序 。 或 
者 说 NFS 也 是 一 个 RPC SERVYER. 所 以 只 要 用 到 NFS 的 地 方 都 要 启动 RPC 服 务 。 这 
样 SERVER 和 CLIENT 才 能 通过 RPC 来 实现 PROGRAM PORT 的 对 应 。 可 以 这 么 理 
解 RPC 和 NFS 的 关系 :NFS 是 一 个 文件 系统 ， 而 RPC 是 负责 负责 信息 的 传输 。 


网 络 七 层 协 议 与 NES 协议 的 对 应 关系 : NFS 是 处 于 应 用 层 的 协议 ，NFS 的 相关 模块 
为 mounf ，portmepper 模 块 ，mount 进 程 可 以 对 客户 端的 请 求 进行 认证 ， 
portmaaoper 提 供 了 客户 端 要 连接 的 端口 ，NIS 提 供 了 一 种 域 的 认证 方式 ，NFS 及 
其 相关 协议 都 需要 使 用 到 RPC ， 所 有 的 NFS 请 求 都 需要 通过 RPC 来 完成 ，XDR 是 
RPC 的 一 种 数据 编码 格式 。RPC 可 以 使 用 TCP/UDP 进 行 传输 。 


传输 方式 \ 


。 使 用 UDP 协 议 
o UDP 传 输 在 NFS 局 域 网 的 应 用 中 传输 速度 快 
o UDP 协 议 传输 的 开销 小 
。 使 用 TCP 协 议 
o 可 靠 性 高 ,有效 的 阻塞 控制 
o 客户 端 和 服务 器 端 都 保留 TCP 连 接 的 状态 
o 服务 器 崩溃 时 ， 客 户 端 只 需要 打开 一 个 新 的 TCP 连 接 
o 客户 端 崩 演 时 ， 服 务 器 端 在 新 的 TCP 连 接 到 来 时 ， 关 闭 原 来 的 TCP 连 接 
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不 论 NFS 使 用 UDP 还 是 TCP，NFS 连 接 都 是 无 状态 的 。 
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720 


思考 题 


1. SCSI| 协 议和 FC，SAS 等 协议 的 关系 是 什么 ? 
2. SAN 和 NAS 的 区 别 是 什么 ? 
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@ 总 结 


。 存储 系统 的 基本 构架 ; 
。 存储 系统 的 发 展 趋势 ; 
。 存储 系统 常用 协议 和 发 展 趋势 。 
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@ 习题 


。 判断 题 
1.， 使 用 iSCSI HBA 的 主机 仍然 需要 使 用 Initiator 软 件 。 (Tof 日 
。 ”多 选 题 
1， 存 储 网 络 的 硬件 组 件 有 哪些 ? (  ) 
A. HBA 
B. Switch 
.存储 设备 
D. 主 机 
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。 习题 答案 : 
o 判断 题 : 1.F 


o 多 选 题 : 1.ABC 
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附录 


SCSl: (Small Computer System Interface， 小 型 计算 机 系统 接口 ) 是 一 种 为 小 型 机 研制 的 
接口 技术 ， 用 于 主机 与 外 部 设备 之 间 的 连接 。SCSI-3 是 所 有 存储 协议 的 基础 ， 其 它 存储 协议 都 
用 到 SCSI 的 指令 集 。 优 点 : 与 主机 无 关 、 多 设备 并 行 、 高 带宽 。 缺 点 : 允许 连接 设备 数量 少 、 
连接 距离 非常 有 限 。 

SAS: ( Serial Attached SCSI ) 即 SCSI 总 线 协 议 的 捉 行 标准 ， 即 捉 行 连接 SCSI ; SAS 采 用 捉 行 技 
术 以 获得 更 高 的 扩充 性 ， 并 兼容 SATA 盘 。 目 前 SAS 的 最 高 传输 速率 高 达 3Gpbs、6Gbps,， 

全 双 工 模式 。 


FC: FC 是 光纤 通道 ( Fiber Channel ) 的 简称 ， 用 于 服务 器 与 共享 存储 设备 的 连接 ,》 存 储 控制 器 
和 驱动 器 之 间 的 内 部 连接 ， 是 一 种 高 性 能 的 串 行 连接 标准 。 其 接口 传输 速率 目前 有 4Gbps 、 
8Gbps 几 种 标准 。 传 输 介质 可 以 选择 铜 绕 或 光纤 ， 传 输 距离 远 ， 支 持 多 种 互联 拓 扩 结构。 光纤 
通道 是 构建 FC SAN 的 基础 ， 是 FC SAN 系 统 的 硬件 接口 和 通信 接口 。 

isCsl : (Internet Small Computer System Interface ) 互联 网 小 型 计算 机 系统 接口 ， 是 一 种 在 
TCP/IP 上 进行 数据 块 传输 的 标准 ， 可 以 理解 为 SCSI over IP。iSCSI 可 构成 基于 IP 的 SAN， 为 用 
户 提供 高 速 、 低 价 、 长 距离 的 存储 解决 方案 。iSCSI 将 SCSI 命 令 封装 到 TCP/JIP 数 据 包 中 ， 使 1/O 
数据 块 可 通过 IP 网 络 传输 ， 是 未 来 的 发 展 之 路 。 
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目标 


学 习 完 本 课程 后 ， 您 将 能 够 : 
。 熟悉 RAID2.0 技 术 

。 熟悉 39marf 技 术 

。 熟悉 Hyper 技术 

。 链 路 管理 和 组 网 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 





Wb huawel 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





0 810 


OceansStor T 系 列 OceanStor 18000 系 列 
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Oceonstor 18000 系 列 存储 系统 采用 创新 的 智能 矩阵 架构 Smart matrix， 通 过 
Scqle-out 横 向 扩展 ， 可 为 企业 提供 一 至 四 个 系统 机 柜 和 最 多 两 个 硬盘 柜 的 存储 系统 。 


其 中 ，Oceanstor 18800 最 大 能 提供 8 个 引擎 ， 合 16 个 控制 器 ，3T 缓 存 ，192 个 主机 端口 
，3216 个 硬盘 的 高 扩展 配置 能 力 。Qce9nsStor 18500 与 18800 的 区 别 在 于 硬件 规格 的 区 
别 。 
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硬件 染 构 


PCIE 全 交换 


随 着 系统 的 Scale-out 扩 展 ， 实 现 性 能 的 线性 增加 
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Oceanstor 18000 高 端 智能 存储 系统 的 Smaqrt megtrix 架 构 采 用 了 以 下 技术 : 


1、PCIE 全 交换 技术 : Oceanstor 18000 的 每 个 引擎 包含 两 个 互 为 一 对 的 控制 器 ， 这 两 个 
控制 器 间 采 用 PCIle2.0*8 背 板 镜像 通道 交换 数据 ; 所 有 控制 器 间 采 用 PCle2.0*4 光 缆 连 
接 到 两 个 宛 余 的 数据 交换 机 中 进行 数据 交换 。 这 种 PCIle 全 交换 互联 的 设计 ， 可 以 实现 
更 加 高 效 的 数据 交换 ， 另 外 一 方面 对 机 柜 之 间 的 距离 要 求 减少 ， 有 利于 客户 机 房 内 部 
的 机 柜 布 局 设计 ; 

2、 全 匈 余 通道 设计 : 不 仅 刚 示 讲 到 的 PCle 数 据 交换 通道 ， 还 有 前 端 主机 IO 〇 通道， 后 端 硬 
盘 通道 ， 控 制 数据 GE 交换 通道 ，OceansStor 18000 都 采用 全 兄 余 组 网 ， 无 单 点 故障 ， 
可 靠 性 高 。 

3、 负 载 均衡 技术 : Oceanstor 18000 系 统 自动 将 不 同 LUN 均 衡 分 配 到 不 同 控制 器 ，LUN 
空间 均衡 分 散 分 布 到 系统 内 所 有 硬盘 ， 从 而 使 得 不 同 控制 器 业务 、 硬 盘 压 力 相 对 均衡 
， 配 合 华为 自 研 多 路 径 UlirdaPafh 选 择 最 优 路 径 下 发 /ID ， 使 系统 性 能 达到 了 最 优 。 

4、 全 局 缓存 技术 : 在 控制 器 内 ， 缓 存 分 为 读 、 写 、 镜 像 三 种 类 型 ， 可 共用 所 有 缓存 ; 控 
制 器 间 .， 各 控制 器 可 以 访问 其 他 所 有 控制 器 的 缓存 。 缓 存 利用 率 最 大 ， 效 率 最 高 。 


通过 Smorf Matrix 的 这 些 技 术 ， 使 得 Oceanstor 18000 高 端 智能 存储 ， 能 随 着 系统 的 
Scale-eut 扩 展 ， 实 现 性 能 的 线性 增加 ， 甚 至 可 达 业 界 最 高 带宽 1922GB/s。 
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Hyper snap 
Hyper copy 
Hyper clone 


Hyper replication 


RAID2.0 

Smart Tier 
Smart Thin 
Smart QoS 
Smart Partition 
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软件 上 ，Oceanstor 18000 提 供 的 Hyperssnap、Hyper copy、Hyper clone、 


Hyperreplication 


多 种 高 可 靠 的 数据 保护 功能 ， 保 障 了 用 户 业务 的 持续 在 线 ; 更 提供 了 RAID2.0，smart 
tier，smart thin，smar Qos 等 高 扩展 高 效率 的 特性 ， 帮 助 用 户 灵 活 应 对 业务 的 变化 ， 
突破 性 能 /容量 瓶颈 。 
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1.2 块 级 虚拟 化 RAID2.0 
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传统 RAID RN 


。 RAID 是 一 种 将 多 个 物理 的 硬盘 组 合成 一 个 逻辑 硬盘 来 使 用 的 
虚拟 化 技术 。 


数据 条 带 化 ， 无 校 验 

数据 镜像 ， 无 校 验 

数据 条 带 化 ， 校 验 信息 分 布 式 存放 
数据 条 带 化 ， 分 布 式 校 验 提 供 两 级 元 余 


RAID10 。 阳 内 做 RAID1， 组 间 做 RAID0， 芭 采用 数据 镜像 有 做 条 带 化 
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RAID 2.0 原 理 


将 硬盘 划分 成 若干 个 连续 的 固定 大 小 的 存储 空间 ， 称 为 
存储 块 ， 即 chunk， 或 简称 CK。 


Chunk 按 RAID 策 略 组 合成 RAID 组 ， 称 为 存储 块 组 ， 即 
chunk group， 或 简称 CKG。 SY 


在 CKG 中 划分 若干 小 数据 块 ， 即 extent。LUN 就 是 由 来 
自 不 同 CKG 的 extent 组 成 。 


用 作 热 备 空间 的 CK 也 是 分 散在 各 个 盘 上 的 % 
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RAID2.0 的 核心 思想 是 块 级 虚拟 化 。 块 级 虚拟 化 的 含义 是 : 将 系统 中 的 硬盘 划分 成 若 
干 个 连续 的 固定 大 小 的 存储 空间 ， 称 为 存储 块 ， 即 cnunk， 或 简称 CK。 图 中 带 颜色 的 数 
据 块 即 为 CHUNK。 


Chunck 按 RAID 策 略 组 合成 RAID 组 , 称 为 存储 块 组 ， 即 chunk group， 或 简称 CKG 
在 CKG 中 划分 若干 小 数据 块 ， 即 eXtent。LUN 就 是 由 来 自 不 同 CKG 的 extent 组 成 。 用 
作 热 备 空间 的 CKk 也 是 分 散在 各 余 盘 上 的 。 


这 里 的 extent 数 据 块 , 也 是 Oceanstor 18000 存 储 系统 分 配 LUN 空 间 的 最 小 单位 。 
Extent 来 自 不 同 的 CKG，CKG 中 的 CHUNK 来 自 多 个 硬盘 ， 可 以 是 几 十 ， 上 百 个 甚至 上 干 
个 盘 ， 而 不 是 像 传统 RAID 中 来 自 故 固定 的 几 个 盘 ， 从 而 将 LUN 的 空间 充分 分 散 分 布 到 系统 
中 更 多 的 硬盘 上 。RAIB2.0 技 术 将 物理 空间 和 数据 空间 分 散 分 布 成 分 散 的 块 ， 可 以 充分 发 
挥 系 统 的 读 写 能 力 六 方便 扩展 ， 也 方便 了 空间 的 按 需 分 配 ， 数 据 的 热度 排 布 ， 迁 移 ， 它 是 
所 有 Smoari 软 件 特性 的 实现 基础 。 


同时 , 《由 于 热 备 空间 也 是 按 CHUNK 分 散在 多 个 盘 上 的 ， 因 此 多 个 CKG 的 重 构 几 乎 可 
以 同时 进行 ， 避 免 了 写 单个 热 备 盘 造成 的 性 能 瓶颈 ， 大 大 减少 了 重 构 时 间 。 


%0 0 


RAID 2.0 原 理 
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。 ThickLUN 以 Extent 为 单位 映射 到 LUN 
。 Grain 在 Extent 的 基础 上 进行 更 细 粒 度 的 划分 
。 Thin LUN 以 Grain 为 单位 映射 到 LUN 


0 910 


0 2 0 


RAID2.0+ 关 键 原理 


LUN 0 (Thick) 


LL 


LUN 1 (Thick) 
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硬盘 域内 每 个 硬盘 被 切 分 为 固定 04MB 的 块 《EK) 


硬盘 域内 同 种 类 型 的 硬盘 被 划分 为 一 个 个 的 Disk Group (DG) ， 从 同一 个 DG 上 随机 
选择 多 个 硬盘 ， 每 个 硬盘 选取 一 个 CK 按 照 RAID 算 法 组 成 Chunk Group (CKG) 


CKG 被 划分 为 固定 大 小 的 Extent 

Thick LUN 以 Extent 为 单位 映射 到 LYN 

Grain 在 Extent 的 基础 上 进行 更 细 粒 度 的 划分 
Thin LUN 以 Grqin 为 单位 映射 到 LUN 


RAID2.0+ 软 件 远 辑 对 象 


Disk Domoain (磁盘 域 ) 
storage Pool (存储 池 ) & Tier 
Disk Group (DG) 

LD (逻辑 磁盘 ) 

Chunk (CK) 

Chunk Group (CKG) 

Extent 

Grain 

Volume & LUN 


Wb huawel 
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Disk Domain (硬盘 域 ) 


。 Disk Domain 即 硬盘 域 ， 是 一 堆 硬 盘 的 组 合 (可 以 是 整个 系统 
所 有 硬盘 ) ， 这 些 硬 盘整 合并 预 留 热 备 容量 后 统一 向 存储 池 
提供 存储 资源 。 
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。 Oceanstor 18000 系 列 存储 系统 可 以 二 个 或 多 个 硬盘 域 

。 ”一 个 硬盘 域 上 可 以 创建 多 个 存储 池 (Storgge Pool) 

。 ”一 个 硬盘 域 的 硬盘 可 以 选择 SSD、SAS、NL-SAS 中 的 一 种 或 者 多 种 
。 不同 硬盘 域 之 间 是 完全 隔离 的 和 包括 故障 域 、 性 能 和 存储 资源 等 


9440 


Storage Pool 〈 存 储 池 ) 8 Tier 


Storage Pool 即 存储 池 ， 是 存放 存储 空间 资源 的 容器 ， 所 有 应 
用 服务 器 使 用 的 存储 空间 都 来 自 于 存储 池 。 

Tier 即 存储 层级 ， 存 储 池 中 性 能 类 似 的 存储 介质 集合 ， 用 主管 
理 不 同性 能 的 存储 介质 ， 以 便 为 不 同性 能 要 求 的 应 用 提供 第 


同 存 储 空间 。 
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一 个 存储 池 基 于 指定 的 一 个 硬盘 域 创建 ， 栈 以 从 该 硬盘 域 上 动态 的 分 配 Chunk (CK 
) 资源 ， 并 按照 每 个 存储 层级 (Tier) 的 WRAID 策 略 ” 组 成 Chunk Group (CKG) 向 应 
用 提供 具有 RAID 保 护 的 存储 资源 。 


创建 存储 池 可 以 指定 该 存储 池 从 硬盘 域 上 划分 的 存储 层级 (Tier) 类 型 以 及 该 类 型 的 
“RAID 策 略 ” 和 “容量 ”。 
OceansStor 18000 系 列 存储 系统 支持 RAID5、RAID6 和 RAID10。 
容量 层 由 大 容量 的 NSAS 合 组成，RAID 策 略 建议 使 用 双重 校 验 方式 的 RAID6。 
。 RAID5: 4D+1P，8B+1P 
。 RAID6: 4D+2P，8B+2P 
。 RAID10: 系统 自动 选择 2D +2D 或 4D+4D 


0 95 


Disk Group (DG) 


。 Disk Group (DG) 即 硬盘 组 ， 由 硬盘 域内 相同 类 型 的 多 个 硬 
盘 组 成 的 集合 ， 硬 盘 类 型 包括 SSD、SAS 和 NL-SAS 三 种 。 
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Oceanstor 18000 系 列 存储 系统 会 在 每 个 硬盘 域内 根据 每 种 类 型 的 硬盘 数量 自动 划分 


为 一 个 或 多 个 Disk Group (DG) 。 


96 0 


一 个 Disk Group (DG) 只 包含 一 种 硬盘 类 型 。 
任意 一 个 CKG 的 多 个 CK 来 自 于 同一 个 Disk Group (DG) 的 不 同 硬盘 。 


LD (逻辑 磁盘 ) 


。 Logical Drive (LD) 即 逻 辑 磁盘 ， 是 被 存储 系统 所 管理 的 硬盘 
， 和 物理 硬盘 一 一 对 应 。 
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Chunk (CK) 


。 Chunk 简 称 CK， 是 存储 池内 的 硬盘 空间 切 分 成 若干 固定 大 小 
的 物理 空间 ， 每 块 物理 空间 的 大 小 为 64MB， 是 组 成 RAID 的 基 
本 单位 。 


国 Chunk 国 Chunk X 


HDDO HDD1 HDD2 HDD3 HDBD4 
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64MB 的 块 大 小 是 系统 在 切 分 物理 空间 的 时 候 固定 的 大 小 ， 不 能 进行 更 改 。 


Chunk Group (CKG) 


。 Chunk Group 简称 CKG ， 是 由 来 自 于 同一 个 DG 内 不 同 硬盘 的 
CK 按照 RAID 算 法 组 成 的 逻辑 存储 单元 ， 是 存储 池 从 硬盘 域 上 
分 配 资源 的 最 小 单位 。 

\4 
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一 个 CKG 中 的 CK 均 来 自 于 同一 个 DG 中 的 硬盘 ，CKG 具 有 RAID 属 性 (RAID 属 性 实际 
配置 在 Tier 上 ) ，CK 和 CKG 均 属于 系统 内 部 对 象 ， 由 OceaqnsStor 18000 系 统 存 储 系统 自 
动 完 成 配置 ， 对 外 不 体现 。 


990 


Extent 


。 Extent 是 在 CKG 基 础 上 划分 的 固定 大 小 的 逻辑 存储 空间 ， 大 小 
可 调 ， 是 热点 数据 统计 和 迁移 的 最 小 单元 (数据 迁移 粒度 ) 
， 也 是 存储 池 中 申请 空间 、 释 放空 间 的 最 小 单位 。 


LUNO (Thick) 
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一 个 Extent 归 属于 一 个 Volume 或 一 个 LUNs<Extent 大 小 在 创建 存储 池 时 可 以 进行 设 
置 ， 创 建 之 后 不 可 更 改 ， 不 同 存储 池 的 Exterit 大 小 可 以 不 同 ， 但 同一 存储 池 中 的 Extent 大 
小 是 统一 的 


0 1000 


Grain * 


。 在 Thin LUN 模 式 下 ，Extent 按 照 固定 大 小 被 进一步 划分 为 更 细 
粒度 的 块 ， 这 些 块 称 之 为 Grain。Thin LUN 以 Grain 为 粒度 进行 
空间 分 配 ，Grain 内 的 LBA 是 连续 的 。 


X 


LUN (Thiqj 
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Thin LUN 以 Grain 为 单位 映射 到 LUN， 对 于 ThickLUN， 没 有 该 对 象 。 


T 系 列 存 储 V2 的 Grain 粒度 默认 为 32KB (可 通过 CLH 指 定 范围 为 8KB-256KB) ， 
Oceanstor 18000 的 Grain 粒度 固定 为 64KB。 
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Volume 8 LUN 


。 Volume 即 卷 ， 是 存储 系统 内 部 管理 对 象 。 


。 LUN 是 可 以 直接 映射 给 主机 读 写 的 存储 单元 ， 是 Volume 对 象 
的 对 外 体现 。 


Volume 
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一 个 Yolume 对 象 用 于 组 织 同一 个 LUN 的 所 有 Extent、GCrain 逻 辑 存储 单元 ， 可 动态 申 
请 释放 Extent 来 增加 或 者 减少 Yolume 实 际 占 用 的 空间 。 
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两 种 重 构 方式 对 比 


传统 RAID 





传统 RAID RAID2.0 
1TB NL-SAS 术 下 构 时 问 ( 小 时 ) 


RAID 2.0 
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在 传统 RAID 的 重 构 中 ， 故 障 盘 的 数据 只 能 向 二 个 热 备 盘 上 重 构 写 。 


在 RAID2.0 的 重 构 中 ， 由 于 热 备 空间 是 分 散在 多 个 盘 上 的 ， 故 障 盘 上 的 数据 可 以 重 构 
到 多 个 盘 上 ， 避 免 了 对 单 热 备 盘 的 写 瓶 颈 ， 因 此 重 构 速度 很 快 。 


另外 ，RAID2.0 的 重 估 是 按 Chujiak 重 移 的 ， 重 构 时 只 重 构 LUN 中 分 配 了 业务 数据 的 
Chunk， 比 传统 RAID 需 要 重 构 所 有 LUN 空 间 的 方式 ， 减 少 了 不 必要 的 重 构 读 写 ， 也 能 提 
高 整体 重 构 速度 。 


那么 ， 对 重 构 速度 的 提升 有 多 少 呢 ? 


1TB 的 NL-SAS 盘 的 重 构 ， 使 用 传统 RAID 的 方式 需要 10 小 时 ， 而 使 用 RAID2.0 技 术 ， 只 
需要 0.5 个 小 时 ， 也 就 是 说 > 重 构 速度 是 原来 的 20 倍 。 


重 构 速度 的 提高 、 减少 了 重 构 时 间 ， 因 此 减少 了 重 构 过 程 中 对 主机 业务 性 能 的 影响 时 
间 ， 也 减少 了 重 构 过 程 中 双 盘 失效 导致 数据 丢失 的 风险 。 
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RAID2.0 优 势 


pe 7 | 


存储 管理 效率 
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RAID2.0 的 最 大 优势 是 快速 重 构 ， 但 不 仅 于 此 5 


硬盘 负载 均衡 : LUN 的 数据 被 均匀 分 散 分 布 到 阵列 内 所 有 的 硬盘 上 ， 可 以 防止 局 部 硬 
盘 过 热 ， 提 升 可 靠 性 。 在 参与 业务 读 写 过 程 中 ， 阵 列 内 硬盘 参与 度 高 ， 提 升 系统 响应 速度 


最 大 化 硬盘 资源 利用 率 : 性 能 卡 ,sLUN 基 于 资源 池 创建 ， 不 再 受 限 于 RAID 组 硬盘 数量 
，LUN 的 随机 读 写 性 能 可 得 到 大 大 提升 ; 容量 上 ， 资 源 池 中 的 硬盘 数量 不 受 限于 RAID 级 别 
， 免 除 传统 RAID 环 境 下 有 些 RAID 组 空间 利用 率 高 而 有 些 RAID 组 空间 利用 率 低 的 状况 ， 并 
借助 智能 精简 配置 ， 提 升 硬盘 的 容量 利用 来 。 


提升 存储 管理 效率 : 基于 RAID2.0 技 术 ， 我 们 无 需 花 费 过 多 的 时 间 做 存储 预 规划 ， 只 
需 简单 地 将 多 个 硬盘 组 合成 存储 池 ， 设 置 存储 池 的 分 层 策略 ， 从 存储 池 划 分 LUN 即 可 ; 
需要 扩容 存储 池 ， 只 需 插 入 新 的 硬盘 ， 系 统 会 自动 的 调整 数据 分 布 ， 让 数据 均衡 的 分 布 到 
各 个 硬盘 上 ;、 当 需要 扩容 LUN 时 ， 只 需 输 入 想 要 扩容 的 LUN 大 小 ， 系 统 会 自动 从 存储 池 中 
划分 所 需 的 空间 并 自动 调整 LUN 的 数据 分 布 ， 使 得 LUN 数 据 更 加 均衡 的 分 布 到 所 有 的 硬 
盘 上 。 


RAID2.0 技 术 使 得 存储 系统 更 可 靠 ， 更 高 效 ， 易 扩展 ， 它 是 Smart fier、Smarf Thin 等 
特性 的 基础 。 首 先 我 们 介绍 5maqrt Tier 特 性 。 


六 


医 
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全 目录 : 


1. 统一 存储 技术 


1.3 智能 分 级 存储 SmartTier 
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SmartTier 原理 


应 用 特点 数据 特点 

最 活跃 数据 : 存储 在 或 

适合 随机 读 取 存储 请 求 | 迁移 至 高 性 能 层 硬 盘 且 
密度 高 的 业务 负载 。 | 读 性 能 得 到 很 大 提高 的 

| “繁忙 ”数据 沾 

、 ee 。| 热 数据 : 存储 在 或 迁移 

适合 存储 次 求 密度 中 的 至 性 能 层 硬 盘 隐 较 活 路 

业务 负载 数据 。 

| 冷 数据 ;- 浴 储 在 或 迁移 

、 本 至 容量 层 硬盘 的 “空闲 ? 

NLSAS 硬 盘 | 运 合 存 出 用 买 午 度 呈 的 | 数据 ， 且 数据 迁移 后 ， 
es TE 

吧 。 
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首先 ， 我 们 来 详细 看 一 下 这 个 特性 的 原理 。 

SmartTier 首 先 将 不 同 存 储 介质 按 它们 的 性 能 高 低 和 容量 成 本 划分 为 三 个 存储 层 ， 由 高 
至 低 分 别 是 : 

0 级 存储 高 性 能 层 ， 统 一 使 用 响应 速度 最 快 的 SD 硬盘 ， 适 合 随 机 读 取 存储 请 求 密度 高 
的 业务 负载 。 

1 级 为 性 能 层 ， 使 用 速度 和 容量 成 本 居中 的 SAS 盘 ， 适 合 存 储 请 求 密 度 中 的 业务 负载 ; 


2 级 容量 层 ， 使 用 容量 成 本 低 而 响应 速度 慢 的 NL - SAS 盘 ， 适 合 存 储 请 求 密度 低 的 业 
务 负载 。 


注意 : 每 个 存储 层 分 别 使 用 统一 的 硬盘 类 型 。 


根据 各 层 的 特点 六 在 合适 的 配置 下 ，Smeor Tier 能 够 自动 识别 数据 的 活跃 程度 ， 并 将 最 
活跃 的 数据 存放 或 迁移 到 高 性 能 层 ， 热 数据 存放 或 迁移 到 性 能 层 ， 冷 数据 存放 或 迁移 到 容 


量 层 。 
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SmartTier 原理 A 


。 LUN 上 的 数据 可 以 根据 数据 的 活跃 度 ， 自 动 调整 ， 迁 移 到 存储 池 中 的 不 同 
存储 层 。 


LUN 数 据 在 存储 池 
内 的 初始 分 布 


LUN 数 据 迁 移 后 


本 最 活跃 数据 ”本 热 数 据 忻 冷 数据 
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Smart Tier 的 原理 就 是 在 存储 池 中 创建 LUN 后 二 随 着 业务 的 读 写 ，LUN 上 的 数据 可 以 根 
据 数 据 的 活跃 度 ， 自 动 调整 ， 迁 移 到 存储 池 中 的 不 同 存储 层 。 此 外 ， 管 理 员 也 可 以 根据 自 
己 对 数据 活跃 程度 的 预 估 ， 手 动 指定 将 数据 优先 存放 于 那 一 层 。 
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SmartTier 关键 技术 


。 统 计 每 个 数据 块 的 活跃 度 i 
1/O 监 控 ond 


数据 排 布 分 析 。 对 每 个 数据 的 活跃 度 计 数 进 





行 排序 
数据 迁移 。 根据 排名 结果 和 数据 迁移 策 
略 实施 数据 迁移 
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为 了 实现 Smart Tier， 使 得 数据 能 够 根据 活跃 度 自动 在 各 层 之 间 迁 移 ， 需 要 经 历 以 下 
三 个 阶段 。 
首先 ， 通 过 MO 监控 ， 来 统计 每 个 数据 块 的 活跃 度 计 数 


这 里 的 数据 块 ， 是 划分 LUN 数 据 大 小 的 粒度 ， 即 extent， 它 是 在 存储 池 中 申请 空间 、 
释放 空间 、 迁 移 数据 的 最 小 单位 ， 所 以 又 称 为 “数据 迁移 粒度 ”。 


然后 ， 通 过 数据 排 布 分 析 % 来 对 每 个 数据 块 的 活跃 度 计 数 进行 排序 


最 后 ， 就 可 以 根据 根据 数据 排 布 分 析 的 排名 结果 和 管理 员 指 定 的 数据 迁移 策略 实施 数 
据 迁 移 
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SmartTier 应 用 实践 


* 存储 层 硬盘 类 型 和 RAID 策 略 规划 
存储 池 规 划 | ”仓储 层 容量 规划 


* 容量 初始 分 配 
“制定 迁移 策略 


。1O 监 控 迁 移 粒 度 和 时 段 


。 寺 es 迁移 速度 
监控 和 迁移 迁移 触发 模式 和 迁移 速度 
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作为 一 个 系统 管理 员 ， 如 何 根据 自己 对 要 放 和 在 存储 系统 上 的 实际 业务 的 理解 和 要 求 ， 
使 得 Smart Tier 的 特性 发 挥 最 佳 的 应 用 效果 呢 ? 


Smart Tier 涉 及 以 下 三 个 方面 的 规划 和 使 用 : 
。 首先 要 规划 存储 池 各 层 的 硬盘 类 型 和 相应 的 RAID 策 略 ， 以 及 各 层 要 规划 的 容量 ; 
。 然后 是 存储 池 容 量 空间 的 使 用 ， 包 括 LUN 的 容量 的 初始 分 配 和 制定 迁移 策略 ; 
。 最 后 是 IO 监控 迁移 粒度 和 时 段 的 设置 ， 以 及 迁移 触发 模式 和 迁移 速度 
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SmartTier 应 用 实践 


。 硬盘 类 型 和 RAID 组 策略 


el 4D+1P (推荐 ) : 硬 堆 利用 雁 为 4/5。 
8D+1P: 硬盘 利用 华 约 为 879。 
NL-SAS RAID6 4D+2P (推荐 ) : 硬盘 利用 率 约 为 
4/6。 
8D+2P ;zs 硬盘 利用 率 约 为 8/10。 
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首先 ， 是 存储 池 的 规划 。 各 存储 层 的 硬盘 类 型 i RAID 组 策略 的 配置 要 考虑 到 这 一 层 的 
性 能 、 可 靠 性 以 及 成 本 的 目标 。 

推荐 配置 可 参考 上 图 。 

我 们 推荐 在 高 性 能 层 设 置 RAID40, ,因为 RAID 10 具 有 较 快 的 读 瑟 性 能 ， 这 也 与 高 性 能 
层 35D 硬 盘 的 特点 相 适 应 。 在 性 能 层 推 荐 设置 RAID 5， 在 容量 层 设置 RAID 6。 因 为 通常 
RAID 5 顺序 写 性 能 比 RAID 10 更 好 # 而 读 性 能 低 于 RAID 10。RAID 6 具有 双重 数据 校 验 功 
能 ， 适 合 容量 较 大 的 NL SAS 硬 盘 s 


在 存储 池 的 每 一 层 中 ，RAID 组 中 数据 空间 和 校 验 空 间 的 比例 对 于 Smart fier 的 性 能 
现 也 有 所 影响 ; 根据 理论 分 析 和 实验 数据 ， 对 于 RAID5， 我 们 推荐 采用 4D + 1P 的 配置 ， 
对 于 RAID6， i a 而 RAID10 的 数据 空间 和 校 验 空间 之 间 是 完全 镜像 
且 相 等 的 ， 这 个 是 固定 的 ， 因 此 无 需 配 置 。 


存储 池 热 备 空间 的 策略 有 三 种 ， 分 为 高 、 低 、 无 三 种 。 分 别 是 每 6 块 和 每 12 块 硬盘 对 
应 一 块 硬盘 的 容量 作为 热 备 空间 ， 以 及 不 设置 热 备 空间 。 在 创建 存储 池 时 ， 需 要 留 出 足够 
的 硬盘 空间 来 做 热 备 空间 。 

需要 注意 的 是 : RAID 组 级 别 ， 硬 盘 类 型 在 创建 存储 池 或 扩容 存储 层 时 设置 ， 且 设置 后 
不 可 更 改 ; 热 备 策略 设置 后 可 以 修改 。 
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SmartTier 应 用 实践 


。 存储 池 热 备 策略 


存储 层 每 6 块 硬盘 ， 使 用 一 块 硬盘 的 容量 作为 热 备 空间 





存储 层 每 12 块 硬盘 ， 使 用 一 块 硬盘 的 容量 作为 热 备 空间 。 
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SmartTier 应 用 实践 


存储 层 容 量规 划 
理论 上 ， 存 储 层 容量 策略 是 各 个 存储 层 的 存储 容量 比例 为 1: 1: 1。 


为 防止 单一 应 用 程序 消耗 所 有 SSD 硬 盘 资 源 ， 限 制 该 应 用 程序 所 在 存储 池 的 高 性 能 层 存 
储 容量 。 
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在 创建 存储 池 时 ， 对 于 每 个 存储 池 各 层 配备 多 大 的 容量 ? 

当然 ， 最 理想 的 存储 层 容 量 策略 是 各 个 存储 层 的 存储 容量 比例 为 1: 1: 1，， 因 为 该 
策略 允许 将 各 个 存储 层 100 史 的 数据 升级 或 降级 至 其 他 任 一 存储 层 。 但 在 实际 应 用 中 该 策 
略 通常 并 不 合适 ， 由 于 某 些 原因 可 能 需要 限制 访问 某 个 特定 存储 层 。 

比如 ， 为 防止 单一 应 用 程序 消耗 所 有 SSD 硬 盘 资源 ， 限 制 该 应 用 程序 所 在 存储 池 的 高 
性 能 层 存 储 容量 可 能 是 合适 的 。 这 种 情况 下 ， 推 荐 使 用 包含 较 小 比例 的 高 性 能 层 存储 容量 
策略 。 

另外 ，O 〇 Oceanstor 180009 智 能 存储 系统 还 可 以 根据 业务 的 实际 情况 ， 监 控 数据 的 冷 热 
比例 ， 给 出 最 佳 容量 比 推荐 配置 ， 帮 助 用 户 动态 调整 各 存储 层 的 容量 。 


上 图 是 一 个 预测 分 析 的 实例 。 我 们 可 以 从 饼 图 中 看 到 容量 比 的 推荐 配置 ， 并 在 柱状 图 
中 看 到 在 这 样 的 推荐 配置 下 能 获得 的 IDP3 和 带宽 。 
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SmartTier 应 用 实践 


。 LUN 数 据 迁 移 策 略 LUN 容 量 的 初始 分 配 


o 不 迁移 自动 分 配 | 分 配 顺序 是 Tierl、Tier2、Tier0 
o 向 高 性 能 层 迁 移 指定 Tier 分 配 管理 员 指定 分 配 的 级 别 


o 向 低 性 能 层 迁 移 
o 自动 迁移 (默认 策略 ) 
LUN 应 用 场景 推荐 容量 初始 分 配 策 略 推荐 数据 迁移 策略 


性 能 要 求 较 高 的 LUN 。 革 务 闪 二 二 能 民 分 本 或 生生、 性 绢 向 高 必 能 二 过 移 











性 能 要 求 不 敏感 的 LUN 优先 从 容量 层 分 配 向 低 性 能 层 迁移 
规模 数据 写 入 LUN 优先 从 高 性 能 层 分 配 目 动迁 移 或 不 迁移 











系统 默认 设置 是 自动 分 配 和 自动 迁移 。 
LUN 的 初始 容量 分 配 策略 要 根据 LUN 的 应 用 场景 ， 结 合 LUN 的 数据 迁移 策略 共同 考虑 。 
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LUN 容 量 的 初始 分 配 策略 是 在 创建 LUN 时 设 秆 ”表示 要 创建 的 这 个 LUN 的 初始 容量 
望 分 配 在 那个 存储 层 ， 设 置 后 不 可 更 改 。 


配置 策略 有 两 种 方式 :自动 分 配 和 指定 Tier 分 配 。 


自动 分 配 是 由 系统 自动 决定 为 LUN 初 始 分 配 哪个 存储 级 别 的 空间 。 分 配 顺 序 是 Tier1、 
Tier2、Tier0， 即 性 能 层 ， 容 量 层 ， 高 性 能 层 。 只 有 在 前 面 一 层 Tier 分 配 不 到 空间 时 才 到 下 
一 层 Tier 分 配 。 


指定 Tier 分 配 ， 由 系统 管理 员 根据 业务 的 特征 来 指定 分 配 在 哪个 级 别 ， 如 “优先 从 高 
性 能 层 分 配 ”、“ 优 先 从 性 能 层 分 配 ” 或 “优先 从 容量 层 分 配 ”。 只 有 在 被 指定 的 级 别 没 
有 空间 时 ， 才 分 配 到 下 一 层 。 

LUN 的 数据 迁移 策略 用 于 指定 LUN 数 据 的 迁移 方向 ; 
。 不 迁移 : LUN 的 数据 在 不 做 任何 迁移 动作 ; 


。 自动 迁移: SmgartTier 根 据 存储 池 中 数据 块 的 活跃 度 排名 结果 进行 数据 迁移 。 自 动迁 移 
依据 MO 监控 得 出 的 分 析 数 据 进 行 迁 移 ， 因 此 必须 启用 MO 监控 并 设置 业务 监控 时 段 后 
， 有 自动 迁移 才能 生效 。 

。/ 当选 择 向 高 性 能 层 迁移 和 向 低 性 能 层 迁 移 后 ， 不 论 这 些 LUN 是 什么 活跃 级 别 ， 
SmagrfTier 会 将 他 们 的 数据 块 优先 迁移 至 相应 的 层级 去 。 
系统 默认 设置 是 自动 分 配 和 自动 迁移 。 
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SmartTier 应 用 实践 


LUN 容 量 的 初始 分 配 LUN 数 据 迁 移 策略 


:于 
自动 分 配 『 分配 顺序 是 Tier1、Tier2、Tier0 不 迁移 





指定 Tier 分 配 管理 员 指定 分 配 的 级 别 向 高 性 能 层 迁 移 
向 低 性 能 层 迁 移 
。 系统 默认 设置 是 自动 分 配 和 自动 迁移 。 自动 迁移 《默认 策 略 )A SC 


。 LUN 的 初始 容量 分 配 策略 要 根据 LUN 的 应 用 场景 ， 结 合 LUN 的 数据 迁移 策略 共同 考虑 。 


LUN 应 用 场景 推荐 容量 初始 分 配 策略 推荐 数据 迁移 策略 SS 本 
对 性 能 要 求 较 高 的 LUN 优先 从 高 性 能 层 分 配 或 优先 从 ”向 高 性 能 层 迁移 
性 能 层 分 配 


对 性 能 要 求 不 敏感 的 LUN 优先 从 容量 层 分 配 向 低 性 能 层 迁 移 


大 规模 数据 写 入 LUN 优先 从 高 性 能 层 分 配 自动 迁移 或 不 迁移 
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在 实际 使 用 中 ，LUN 的 初始 容量 分 配 策略 要 根据 LUN 的 应 用 场景 ， 结 合 LUN 的 数据 迁 
移 策略 共同 考虑 。 对 性 能 要 求 较 高 的 LUN， 适 合 优 先 从 高 性 能 层 分 配 策略 或 优先 从 性 能 层 
分 配 策略 ， 同 时 其 数据 迁移 策略 适合 向 高 性 能 层 迁 移 。 对 性 能 要 求 不 敏感 的 LUN， 适 合 优 
先 从 容量 层 分 配 策略 ， 同 时 其 数据 迁移 策略 适合 优先 向 低 性 能 层 迁 移 。 

大 规模 数据 写 入 存储 池 ， 适 合 优先 从 高 性 能 层 分 配 策略 ， 同 时 其 数据 迁移 策略 适合 自 
动迁 移 或 不 迁移 。 这 样 做 的 原因 是 如 果 运 行 该 业务 的 LUN 使 用 自动 分 配 策略 ， 部 分 数据 最 
开始 将 分 配 至 性 能 层 和 容量 层 。 此 时 ，SmartTier 还 未 对 新 写 入 数据 进行 MO 监控 和 数据 排 
布 分 析 ， 无 法 分 辨 数据 的 活跃 度 。 因 此 部 分 最 活跃 数据 可 能 将 分 配 至 性 能 层 和 容量 层 ， 而 
不 能 优先 使 用 高 性 能 层 。 

LUN 的 数据 迁移 策略 设置 后 可 在 使 用 过 程 中 根据 需要 更 改 。 
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SmartTier 应 用 实践 


业务 监控 时 自 

o 推荐 进行 默认 的 全 天 候 |/O 监 控 。 

o ”应 用 程序 处 于 非 活动 状态 或 非 主 业务 运行 的 时 段 应 排除 。 
IO 监控 ， 即 数据 迁移 粒度 


o 流 媒 体 、 视 频 监控 ， 推 荐 : 4MB 


迁移 触发 模式 

o 在 新 增加 一 个 存储 层 ， 或 修改 LUN 数 据 的 存储 位 置 且 希望 立即 生效 时 ， 推 荐 \ 手 动迁 移 ” 
o “定时 迁移 ” ， 推 荐 设置 在 业务 空闲 时 段 ， 如 每 天 凌晨 1 点 ~4 点 

迁移 速度 

o 业务 繁忙 时 ， 推 荐 “ 低 ” 

o 业务 空闲 时 ， 推 荐 “中 ” 
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为 进行 指定 存储 池 SmoartTier 数 据 块 的 排 布 分 析 ， 需 要 对 存储 池 各 层 数 据 块 的 IO 个 数 
， 平 均 I|O 大 小 等 统计 指标 进行 监控 ， 并 指定 监控 的 日 期 和 时 间 范 围 。 


推荐 进行 默认 的 全 天 候 进 行 |/O 监 控 。 


如 果 应 用 程序 很 长 时 间 将 处 于 非 活动 状态 ， 或 者 应 用 程序 在 茶 时 间 段 产生 的 MO 不 是 
用 户 的 主 业务 〈 例 如 后 合 备份、 数据 同步 ) 则 业务 监控 时 段 应 排除 该 时 间 段 。 


数据 迁移 粒度 ， 即 extent+f 尝 是 存储 池 分 配 LUN 空 间 的 粒度 ， 也 是 IO 〇 监控， 数据 迁移 的 
粒度 。extent 越 小 ， 存 储 资源 的 使 用 效率 越 高 ， 数 据 迁 移 的 有 效 性 越 高 。 但 是 ， 对 于 流 媒 
体 业 务 、 视 频 监控 业务 等 大 IO 业 务 ， 粒 度 大 则 读 写 和 迁移 速度 快 ， 此 时 推荐 采用 的 最 佳 做 
法 是 使 用 默认 值 4MB。 

迁移 触发 模式 分 为 手动 迁移 模式 和 定时 迁移 模式 。 手 动 方式 可 在 任 一 时 刻 设置 时 间 段 
进行 数据 迁移 ， 且 设置 后 立即 生效 ， 推 荐 在 新 增加 一 个 存储 层 时 ， 或 业务 变化 需要 修改 
LUN 的 存储 位 置 目 希望 立即 生效 时 使 用 ; 定时 方式 只 能 在 预先 设置 的 时 间 段 进行 数据 迁移 
， 推 荐 采用 的 最 佳 做 法 是 将 数据 迁移 时 间 设 置 在 业务 空闲 状态 时 间 段 ， 例 如 每 天 凌晨 1 点 
一 4 点 。 迁 移 触发 模式 设置 后 可 以 在 使 用 中 更 改 。 


迁移 速度 分 为 高 中 低 三 种 。 无 论 使 用 哪 一 种 ，SmartTier 都 会 根据 当前 业务 负载 ， 在 上 
限 范围 内 动态 调整 迁移 速率 ， 确 保 数 据 迁 移 不 会 对 当前 业务 造成 明显 影响 。 

推荐 做 法 是 : 当 业 务 处 于 繁忙 状态 时 ， 推 荐 采用 的 最 佳 做 法 是 设置 较 保 守 的 数据 迁移 
速率 (“ 低 ”) 。 当 业务 处 于 空闲 状态 时 ， 可 以 将 数据 迁移 速率 设置 为 更 激进 的 级 别 (“ 
中 ”或 “高 ) ， 这 将 允许 SmartTier 更 快速 、 动 态 的 针对 业务 负载 的 细微 变化 做 出 调整 


通过 以 上 的 配置 ，3mortTier 动 态 分 级 存储 特性 ， 能 自动 将 不 同 活跃 度 的 数据 和 不 同 特 
点 的 存储 介质 动态 匹配 起 来 ， 降 低 了 用 户 的 成 本 ， 提 高 了 系统 的 整体 性 能 。 
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全 目录 


1.4 智 能 精简 配置 Smart Thin 
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SmartThin 概述 


e 9mart Thin 特 点 : 
o 存储 容量 虚拟 化 
o 按 需 分 配 
o 可 在 线 扩容 
o 容量 管理 自动 化 
o 告警 国 值 
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Smart Thin， 是 一 种 存储 容量 的 虚拟 化 特性 sz 如 左 图 所 示 ， 对 于 主机 来 说 Thin LUN 和 
传统 LUN 是 没有 区 别 的 。 但 是 对 存储 系统 来 说 和 Thin LUN 只 需 从 存储 池 中 分 配 实 际 使 用 到 
的 空间 即 可 。 这 种 按 需 分 配 的 技术 可 以 以 很 少 的 初期 投入 ， 满 足 用 户 不 断 增 长 的 存储 容量 
需求 ， 使 得 存储 系统 具有 很 高 的 利用 率 和 可 扩展 性 。 它 能 够 在 线 扩容 ， 扩 容 时 不 必 对 数据 
进行 迁移 或 备份 ， 避 免 了 数据 迁移 带 来 的 风险 并 节约 了 数据 备份 带 来 的 成 本 。 可 以 为 用 户 
提供 自动 化 的 容量 管理 功能 ， 用 户 不 必 再 费心 于 为 不 同 的 业务 配置 不 同 的 容量 ， 它 的 容量 
竞争 机 制 使 得 各 种 业务 通过 竞争 获取 所 需 容量 ， 最 终 达 到 存储 容量 的 最 优化 配置 。 我 们 还 
可 以 为 Thin LUN 所 在 的 存储 池 设 置 一 个 告警 益 值 ， 当 应 用 程序 实际 使 用 的 存储 池 的 容量 接 
近 该 阔 值 时 ， 系 统 会 上 报 一 条 告警 ， 提 示 我 们 为 存储 扩充 容量 。 


实现 Thin LUN 空 间 按 需 分 配 的 关键 技术 有 两 个 ， 一 个 是 写 时 空间 分 配 的 方式 来 分 配 空 
间 ， 另 一 个 是 通过 读 写 重 定向 来 支持 数据 的 读 写 。 下 面 我 们 详细 来 介绍 一 下 这 两 种 技术 。 
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SmartThin 关键 技术 


。 写 时 空间 分 配 : Capacity-on-write 


e 读 写 重 定向 : Redirect-on-time 





人 存储 实际 数据 物理 存储 空间 (存储 池 ) Q 


| RAIDS 


~ nN 


空间 分 配 
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写 时 空间 分 配 技 术 是 指 对 Thin LUN 的 写 IO 请 求 触 发 存储 池 的 实际 空间 分 配 ， 而 未 写 到 
的 位 置 等 到 用 时 再 分 配 。 写 时 空间 分 配 技术 , 吓 一 种 动态 分 配 空间 的 技术 ， 写 数据 时 分 配 
的 实际 存储 区 域 是 不 确定 的 ， 需 要 专门 的 映射 表 来 记录 数据 的 逻辑 地 址 和 实际 存储 位 置 的 
对 应 关系 。 


读 写 重 定向 技术 是 指 对 Thin LUN 进 行 读 写 时 需要 根据 映射 表 进 行 重 定向 。 
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SmartThin 关键 技术 


1. 收 到 写 请 求 
2. 查 映 射 表 
3. 写 重 定向 
4. 


写 数 据 
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映射 表 的 映射 项 的 堪 项 为 逻辑 地 址 ， 作 为 理 技 键 值 。 右 项 记录 资源 块 的 地 址 ， 形 象 的 
说 就 是 “指针”。 


Thin LUN 收 到 主机 写 请 求 时 ， 先 查 映 射 表 ， 如 果 未 记录 ， 则 分 配 存 储 池 中 的 物理 空间 


进行 写 ， 并 记录 了 映射 表 ; 如 果 映 射 表 中 已 记录 了 目标 地 址 在 存储 池 中 的 物理 地 址 ， 则 重 
定向 到 该 物理 地 址 进行 覆盖 写 。 
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SmartThin 关键 技术 


1. 收 到 读 请 求 
2. 查 映射 表 

3. 重 定向 请 求 
4. 读数 据 数据 
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Thin LUN 收 到 主机 读 请 求 时 ， 先 查 映射 表 , 根据 映射 表 中 已 记 录 的 目标 地 址 对 应 的 在 
存储 池 中 的 物理 地 址 ， 然 后 重 定向 到 该 物理 地 址 进行 读 。 
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SmartThin 应 用 实践 \ 


。 适用 的 场合 


对 业务 连续 性 要 求 较 高 的 系统 | 在 线 对 系统 进行 扩容 ， 不 会 中 断 业务 银行 票据 交易 系统 
核心 业务 


应 用 系统 数据 增长 速度 无 法 准 | 按 需 分 配 物 理 存储 空间 ， 避 免 浪 费 E-mail 邮箱 服务 ~ 区 
确 评估 的 业务 盘 服 务 等 


多 种 业务 系统 混杂 并 且 对 容量 | 让 不 同业 务 去 竞争 物理 存储 空间 ， 实 现 物 | 运营 商 服 务 等 
需求 不 一 的 业务 理 存储 空间 的 优化 配置 。 


。 不 适用 的 场合 


对 MO 性 能 要 求 很 高 的 场合 
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Smart Thin 适 用 于 对 业务 连续 性 要 求 较 高 的 系统 核心 业务 ， 因 为 它 可 以 支持 在 线 对 系 
统 进行 扩容 ， 不 会 中 断 业 务 。 例 如 : 银行 票据 交易 系统 。 也 适用 于 应 用 系统 数据 增长 速度 
无 法 准确 评估 的 业务 ， 因 为 它 可 以 按 需 分 配 物 理 存储 空间 ， 避 免 浪 费 ， 例 如 : E-mail 邮箱 
服务 、 网 盘 服务 等 。 

对 于 多 种 业务 系统 混杂 并 且 对 存储 需求 不 一 的 业务 也 同样 适用 ， 因 为 它 可 以 让 不 同业 
务 去 竞争 物理 存储 空间 ， 实 现 物 理 存储 空间 的 优化 配置 ， 例 如 : 运营 商 服 务 等 。 但 是 由 于 
Smortnin 采 用 了 读 写 重 定向 技术 ， 对 性 能 有 一 定 影响 ， 因 此 不 适用 于 对 MO 性 能 要 求 很 高 
的 场合 ， 如 在 线 交 易 。 
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Smart QoS 概述 ， 


四 背景 : 
o 不 同 应 用 程序 之 间 由 于 业务 模型 和 I/O 〇 特征 不 同 相 互 影 响 ， 导 致 存储 系统 整体 性 
能 受到 影响 ; 
o 不 同 应 用 程序 相互 争 抢 系 统 带 宽 和 IOPS 资 源 ， 关 键 业 务 性 能 无 法 得 到 保证 s 
。 需求 : 
o 保证 关键 型 应 用 程序 的 性 能 ; 
o 保证 高 级 别 用 户 的 性 能 。 
。 Smoart QoS 原 理 : 
o 该 特性 允许 用 户 根 据 应 用 程序 的 一 系列 特征 (IOPS 或 带 窜 、，, 。 对 每 一 种 应 用 程 
序 设置 特定 的 性 能 目标 ; 
o 存储 系统 根据 设 定 的 性 能 目标 ， 动 态 分 配 存 储 系 统 的 资源 来 满足 特定 应 用 程序 的 
服务 级 别 要 求 ， 从 而 优先 保证 关键 性 应 用 程序 服务 级 别 的 需求 。 
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随 着 存储 系统 容量 持续 增 大 ， 将 多 个 应 用 程序 部 署 在 同一 台 存 储 设备 上 的 需求 也 在 逐 
步 增 加 。 将 多 个 应 用 程序 部 署 在 同一 全 存储 设备 可 以 简化 用 户 的 存储 系统 架构， 但 是 ,不 
同 的 应 用 程序 之 间 由 于 业务 模型 和 MO 特征 和 不同 相互 影响 ， 导 致 存储 系统 整体 性 能 受到 影 
响 。 


此 外 ， 出 于 投资 成 本 的 考虑 , 。 某 些 用 户 可 能 不 会 单独 投资 存储 系统 的 建设 。 此 时 ， 可 
普 助 存储 资源 提供 商 提供 的 存储 资源 运行 相关 业务 ， 减 少 总 体 投 资 且 能 保证 业务 的 连续 运 
行 。 但 由 于 每 个 用 户 的 业务 类 型 及 业务 特征 不 同 ， 不 同 的 应 用 程序 相互 争 抢 系 统 带 宽 和 
IOPS 资 源 ， 关 键 业 务 性 能 和 高 级 别 用 户 所 需 的 存储 资源 可 能 无 法 得 到 满足 。 

为 了 使 关键 型 应 用 程序 和 高 级 别 用 户 的 性 能 得 到 保证 ，O 〇 Oceanstor 18000 存 储 系统 为 
用 户 提 供 了 Smart Qos 功 能 。 


Smart Qos 的 原理 是 : 允许 用 户 根据 应 用 程序 的 一 系列 特征 (IOPS 或 带宽 ) ， 对 每 一 
种 应 用 程序 设置 特定 的 性 能 目标 ; 存储 系统 再 根据 设 定 的 性 能 目标 ， 动 态 分 配 存 储 系统 的 
资源 来 满足 特定 应 用 程序 的 服务 级 别 要 求 ， 从 而 优先 保证 关键 性 应 用 程序 服务 级 别 的 需求 


oo 
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SmartQos 关键 技术 


。 SmartQoS 基 于 令 牌 桶 原理 
o 用 户 每 配置 一 个 martQosS 策 略 ， 系 统 会 根据 用 户 设置 的 性 能 目标 生成 一 个 令 牌 桶 ， 按 照 用 
户 配置 的 性 能 目标 周期 性 向 令 牌 桶 中 放 入 一 定数 量 的 令 牌 。 
o 每 一 个 受 这 个 smartQos 策略 控制 的 |/O 请 求 都 必须 从 令 牌 桶 中 获得 一 个 令 牌 才能 得 
; 如 果 令 牌 桶 中 的 令 牌 取 空 ， 则 只 能 在 等 待 队列 中 等 待 系统 下 一 次 放 入 念 牌 。 4 


主机 IO 请 求 1 得 调度 
周期 性 放 入 令 牌 | 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 


对 IO 请 求 分 类 


进入 等 待 队列 等 待 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights res 





SmartQos 应 用 实践 \ 


在 线 交 易 业 务 随机 小 /QO， 通 常 以 IQPS 来 衡量 。 en 
归档 备份 业务 顺序 大 I/O， 通常 以 带宽 来 衡量 。| 00:00 至 08:00 








这 两 种 业务 在 各 自 对 应 的 时 间 段 内 都 需要 
保障 足够 的 系统 资源 。 
创建 两 个 Smart QoS 策略 : 

o 策略 A: 


a 在 08:00 至 00:00 时 间 段 内 限制 备份 归档 业务 的 
带宽 (例如 <50MB/s) 。 


o 策略 B: 
a 在 00:00 至 08:00 时 间 段 内 限制 在 线 交 易 业务 的 
IOPS (例如 <200) 。 
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假设 我 们 的 系统 中 同时 部 署 了 On-Line Transaction Processing 在 线 事务 处 理 系统 (在 
线 交 易 ) 和 归档 备份 业务 ， 应 该 如 何 配 置 SmorhQo5 策 略 呢 ? 

首先 要 分 析 这 两 种 业务 的 ID 特性 和 主要 运行 时 段 。 在 线 交 易 业 务 通常 是 随机 小 IO ， 以 
IOPS 来 衡量 性 能 ; 主要 运行 时 段 早 上 八 点 ， 到 晚上 12 点 ; 通常 是 顺序 大 IO 
， 以 带宽 来 衡量 性 能 ; 主要 运行 时 段 是 晚上 12 点 到 早上 8 点 前 。 

这 两 种 业务 在 各 自 对 应 的 时 段 内 都 要 保障 足够 的 系统 资源 。 用 户 可 通过 SmartQos 特 
性 ， 创 建 两 个 Smart Qos 策 略 来 达到 业务 需求 。 

策略 A: 在 08:00 至 00:00 时 间 段 内 限制 备份 归档 业务 的 带宽 (例如 <50MB/S) ， 从 而 
预 留 足够 系统 资源 给 在 线 交 易 业 务 。 

策略 B: 在 00:00 至 08:00 时 间 段 内 限制 在 线 交 易 业 务 的 IOPS (例如 <200) ， 从 而 预 留 
足够 系统 资源 给 备份 归档 业务 。 
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SmartQos 应 用 实践 








用 户 分 类 业务 质量 要 求 
签约 用 户 A (金牌 用 户 ) 高 
签约 用 户 B (银牌 用 户 ) 中 
。 要 优先 保证 高 级 别 用 户 的 业务 质量 。 & 
。 创建 两 个 Smart QoSs 策 略 : 
oO 策略 A: 
= ”限制 金牌 用 户 A 的 业务 带宽 ( 例 
如 <100MB/S) 。 
o 策略 B: 


sm” 限制 银牌 用 户 B 的 业务 带宽 ( 例 
如 <30MB/s) 。 
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假设 我 们 的 系统 中 同时 部 署 了 金牌 用 户 A 和 银牌 用 户 B 的 业务 时 ， 应 该 如 何 配置 smart 
QoS 策略 呢 ? 因为 这 两 个 用 户 属于 不 同 级 别 下 对 业务 质量 的 要 求 不 同 ， 因 此 在 资源 紧张 的 
情况 下 ， 要 优先 保证 高 级 别 用 户 的 业务 质量 。 同 样 ， 我 们 需要 创建 两 个 mortQoS 策 略 。 


策略 A: 限制 金牌 用 户 A 的 业务 带宽 (例如 <100MB/s) 。 
策略 B: 限制 银牌 用 户 B 的 业务 带宽 (例如 <30MB/S) 。 
此 带宽 比 金牌 用 户 A 小 ,s 从 而 预 留 足够 系统 资源 给 金牌 用 户 A。 
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1.6 智能 缓存 分 区 SmartPartition 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





DD 1270 


Smart Partition 概 述 


。 背景 : 

o 随 着 存储 系统 的 不 断 完善 和 发 展 ， 仅 支撑 单 业务 存储 服务 的 存储 系统 正 
在 被 可 以 同时 向 数 干 个 应 用 提供 存储 服务 的 存储 系统 所 替代 。 但 如 何 同 
NE TE 
提出 了 更 高 的 要 求 。 

。 需求 : 
o 根据 应 用 的 优先 级 不 同 ， 保 证 各 个 级 别 的 应 用 性 能 。 
e。 Smoqrt Partition 原 理 : 

o SmartPartition 特 性 以 业务 LUN 为 单位 进行 SmartPartition 汾 区 设 定 ， 每 个 

SmartPartition 分 区 的 资源 独立 访问 ， 互 不 干扰 3 
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同时 ， 存 储 系统 将 保证 各 分 区 中 应 用 的 缓存 容量 ， 并 根据 实际 情况 自动 调整 不 同 分 区 
的 应 用 服务 器 侧 和 存储 系统 侧 的 MO 并 发 ,AN 从 而 保证 位 于 该 分 区 的 业务 LUN 的 性 能 。 
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SmartPartition 关键 技术 


。 SmartPartition 特 性 通过 隔离 不 同业 务 所 需 的 缓存 资源 ， 保 证 关键 
业务 的 服务 质量 。 通 过 SmartPartition 特 性 ， 用 户 将 引擎 内 的 缓存 
资源 划分 为 2 个 或 2 个 以 上 的 分 区 ( 少 于 8 个 ) ， 每 个 分 区 的 读 写 组 
存 容量 根据 用 户 业 务 -UN 的 / 〇 情况 进行 设置 ， 提 高 绥 存 读 写 速 人 HH 
同时 大 大 缩短 存储 系统 的 应 用 响应 时 间 。 
smartPartition 特 性 通过 周期 统计 每 个 SmartPartition 分 区 的 所 有 主 
机 并 发 量 ， 然 后 通过 用 户 针对 每 个 LUN 设 置 的 读 写 缓存 容量 以 及 每 
个 LUN 的 优先 级 ， 自 动 匹配 主机 并 发 ， 保 证 SmartPartition 分 区 资 
源 的 最 大 化 使 用 的 同时 ， 保 证 关键 业务 的 服务 质量 。 
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在 存储 系统 中 ， 影 响 茶 业务 的 服务 质量 的 主要 因素 包括 缓存 容量 和 主机 并 发 ， 其 中 组 
存 容量 表示 该 业务 当前 可 以 占用 存储 系统 的 缓存 资源 ， 主 机 并 发 表示 存储 系统 针对 该 业务 
允许 的 主机 MO 并 发 处 理 量 。 
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SmartPartition 关键 技术 


。 在 主机 并 发 中 ，LUN 的 优先 级 的 判断 有 两 种 方式 : 
o 如 果 针 对 LUN 设 置 了 SmartQos 的 LUN 优 先 级 ， 则 按照 smartQos 优 先 级 进行 统计 。 
o 如 果 未 设置 SmartQos 的 LUN 优 先 级 ， 则 按照 LUN 的 默认 优先 级 进行 统计 。 


[应 用 服务 器 1 应 用 服务 器 2 ”… ”应 用 务 骂 n 1 





SmartPartition 应 用 实践 


在 VDI (Virtual Desktop Infrastructure) 场景 中 ， 每 个 用 户 的 应 用 及 应 用 服务 质量 
的 要 求 各 不 相同 ， 数 据 中 心 的 难题 是 如 何 完全 满足 每 个 用 户 的 要 求 ， 同 时 还 可 充分 

利用 现 有 资源 。 

通过 SmartPartition 特 性 可 以 为 不 同 的 签约 用 户 所 使 用 的 LUN 创 建 不 同 的 缓存 分 区 容 
量 ， 在 资源 有 限 的 情况 下 可 以 优先 保证 高 级 别 用 户 的 业务 质量 要 求 。 以 


例如 ， 数 据 中 心 的 存储 资源 同时 为 多 个 用 户 提供 存储 资源 ， 其 中 用 户 A 和 用 训 B 的 特 
征 如 表 所 示 


用 户 分 类 
用 户 A (金牌 用 户 ) 
用 户 B (银牌 用 户 ) 
存储 资源 提供 商 通过 SmartPartition 特 性 可 以 创建 两 个 组 存 分 区 栖 个 组 存 分 区 设置 
不 同 的 读 写 策略 。 
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e。 SmaqartPartition 策 略 和 AA: 为 用 户 人 A 使 用 的 LUN 创 建 SmartPartition 分 区 1 (例如 读 缓 存 
10GB， 写 缓存 15GB) ， 该 读 写 缓存 容量 保证 用 户 A 的 应 用 正常 运行 且 读 写 性 能 优异 。 


e。 SmaqartPartition 策 略 B: 为 用 户 B 使 用 的 了 UN 创建 SmartPartition 分 区 2 (例如 读 缓 存 
5GB， 写 缓存 8GB) ， 此 缓存 容量 比 用 户 和 A 小， 从 而 预 留 足 够 系统 资源 给 用 户 人 。 
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1.7 快照 Hyper Snap 
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Hyper Snap 概述 


。 定义 : 
o Hyper snap， 即 快照 ， 是 指 在 不 中 断 正 常 业 的 情况 下 、 源 数据 在 某 一 时 间 点 的 数 
据 的 完全 可 用 的 拷贝 ， 该 拷贝 是 源 数据 在 拷贝 时 间 点 的 静态 映像 。 
。 特点 
o 快照 可 以 对 存储 设备 上 的 数据 灵活 和 频繁 地 生成 多 个 恢复 点 ， 在 需要 时 可 以 局 速 
地 恢复 数据 。 
o 快照 可 瞬间 生成 ， 不 影响 源 LUN 业 务 ， 可 以 方便 地 作为 备份 和 归档 的 数据 源 。 
。 应 用 


o 数据 备份 与 恢复 、 持 续 数据 保护 、 结 合 其 他 软件 实现 备份 和 容 灾 ， 并 应 用 于 报表 
生成 、 数 据 测 试 、 数 据 分 析 等 数据 处 理 场 景 。 
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Hyper Snap， 即 快照 ， 是 指 在 不 中 断 正常 业 的 情况 下 、 源 数据 在 某 一 时 间 点 的 数据 
的 完全 可 用 的 拷贝 ， 该 拷贝 是 源 数据 在 拷贝 时 间 点 的 静态 上 映像。 静态 的 意思 时 ， 在 快照 激 
活 后 ， 会 保持 与 激活 时 的 源 数 据 完全 一 致 , 而 不 会 随 着 源 数 据 的 改变 而 改变 。 

其 特点 是 : 快照 可 以 对 存储 设备 汪 的 数据 灵活 和 频繁 地 生成 多 个 恢复 点 ， 在 需要 时 可 
以 快速 地 恢复 数据 。 快 照 可 瞬间 生成 ,) 不 影响 源 LUN 业 务 ， 可 以 方便 地 作为 备份 和 归档 的 
数据 源 。 

通过 生成 不 同时 间 点 的 快照 y 或 者 同一 时 间 点 的 多 份 快照 ， 您 可 以 实现 快速 的 数据 备 
份 与 恢复 、 持 续 数据 保护 、 绪 合 其 他 软件 实现 备份 和 容 灾 ， 并 应 用 于 报表 生成 、 数 据 测 试 
、 数 据 分 析 等 数据 处 理 场景 。 
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Hyper Snap 原 理 与 关键 技术 


。 原理 : 
o 通过 映射 表 来 定位 数据 的 位 置 
o 不 需要 做 数据 的 完全 复制 


。 关键 技术 : 写 前 拷贝 


. 收 到 写 请 求 
. 查 映 射 表 

. 拷贝 数据 块 
. 记录 映射 表 
. 写 数 据 





快照 的 原理 是 通过 映射 表 来 定位 数据 的 位 置 = 宙 不 需要 做 数据 的 完全 复制 。 映 射 表 的 
左 项 是 源 地 址 ， 作 为 查找 键 值 ， 右 项 为 数据 存放 的 实际 位 置 。 每 一 个 快照 都 有 一 个 映射 表 
与 之 对 应 。 


实现 快照 的 关键 技术 是 写 前 拷贝 。 快 照 激活 时 ， 它 的 映射 表 里 没有 项 ， 这 表示 源 LUN 
的 数据 跟 快照 激活 时 还 没有 发 生变 化 ) 读 快照 LUN 时 ， 可 以 直接 读 相应 的 源 LUN。 当 主机 
向 源 LUN 写 入 新 的 数据 时 ， 系 统 先 查 了 映射 表 ， 如 果 没 有 记录 有 这 个 数据 要 写 入 的 位 置 的 表 
现 ， 说 明 源 LUN 中 ， 该 数据 对 应 位 置 还 没有 被 修改 过 ， 这 是 第 一 次 修改 。 因 此 需要 将 要 被 
覆盖 掉 的 原 数 据 搬移 到 一 个 新 的 位 置 ， 并 向 映射 表 中 增加 一 行 ， 这 一 行 的 左 项 指向 源 LUN 
的 数据 位 置 ， 右 项 指向 原 数据 的 新 位 置 。 之 后 ， 表 将 主机 下 发 的 新 数据 实际 写 入 。 读 快照 
LUN 时 ， 当 发 现 映 射 表 中 对 于 要 读 到 的 源 LUN 位 置 有 记录 ， 就 从 映射 表 右 项 对 应 位 置 读 取 
数据 。 否 则 就 从 源 LUN 上 读 取 数据 。 


通过 这 种 写 前 拷贝 的 技术 ， 就 能 通过 映射 表 来 定位 数据 的 位 置 ， 只 有 在 源 LUN 要 被 修 
改 时 才 做 拷贝 六 而 不 需要 做 源 LUN 所 有 数据 的 完全 复制 。 


快照 配置 流程 


启用 虚拟 快照 特性 


配置 虚拟 快照 时 间 (Age 


策略 


确保 License 文 件 中 包含 虚拟 
快照 的 相关 信息 ， 且 存储 系 
统 的 资源 池 容 最 能 够 满足 浙 
LUN 数 据 的 变化 县 。 


部 署 UltraAPM 软 件 确保 有 
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快照 重要 概念 
源 LUN 
资源 池 
资源 LUN 


映射 表 
快照 LUN 
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。 源 LUN 
o 需要 进行 虚拟 快照 操作 的 源 数据 所 在 的 LUN。 
。 资源 池 
= 在 虚拟 快照 过 程 中 ， 用 于 临时 保存 源 LUN 改 变 前 原 数据 的 存储 空间 。 由 一 个 或 多 
个 LUN 组 成 。 
。 资源 LUN 
= 被 添加 到 资源 池 中 的 二 个 或 多 个 LUN。 这 些 LUN 的 容量 构成 资源 池 容 量 。 
。 映射 表 


o 用 于 记录 快照 LUN 中 数据 的 存放 地 址 。 映 射 表 主 要 由 两 部 分 组 成 : 数据 在 源 LUN 
中 地 址 及 数据 在 资源 池 的 地 址 。 正 常情 况 下 ， 映 射 表 保 存在 存储 系统 的 内 存 中 。 
但 是 六 当 存 储 设备 运行 于 故障 模式 (如 电源 故障 、 镜 像 链 路 故障 ) 时 ， 存 储 系统 
将 实时 把 映射 表 写 入 到 保险 箱 硬 盘 中 。 


。 快照 LUN 
o 对 源 LUN 创 建 虚拟 快照 后 ， 罗 辑 上 生成 的 数据 副本 ， 由 映射 表 地 址 指向 的 数据 组 
成 的 虚拟 集合 。 
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当 用 户 激活 一 个 快照 任务 时 ， 存 储 系统 在 激活 时 间 点 生 

成 一 份 快照 ， 得 到 激活 时 间 点 源 LUN 的 一 致 性 副本 。 

当 用 户 停 止 一 个 快照 任务 时 ， 存 储 系统 释放 占用 的 资源 
LUN 的 空间 ， 快 照 LUN 不 可 用 。 

当 用 户 重建 一 个 快照 任务 时 ， 存 储 系统 会 在 重建 时 间 点 
重新 激活 快照 ， 快 照 LUN 中 的 数据 变 成 源 LUN 在 重建 时 
间 点 的 一 致 性 副本 。 

当 用 户 回 滚 一 个 快照 任务 时 ， 存 储 系统 用 快照 LUN 的 数 
据 覆 盖 源 LUN 的 数据 ， 将 源 LUN 的 数据 置 于 快照 时 间 点 


态 。 
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1.8 拷 贝 Hyper Copy 
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Hyper Copy 概述 


。 定义 

o LUN 拷 贝 把 源 LUN 数 据 完整 复制 到 本 阵列 或 其 它 阵 列 的 目标 LUN。 
。 特点 

o 开始 拷贝 前 要 先 停止 业务 。 

o 支持 阵列 内 和 阵列 间 拷 贝 。 

o 支持 源 LUN 在 外 部 阵列 ， 目 标 LUN 在 本 阵列 。 
。 场景 


o 数据 迁移 、 数 据 备份 
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LUN 找 贝 的 能 把 源 LUN 数 据 完整 复制 到 本 阵列 或 其 它 阵 列 的 目标 LUN。 


它 的 特点 有 : 
0 为 了 保证 拷贝 过 程 中 ， 目 标 LUN 和 源 LUN 的 数据 一 致 性 ， 开 始 拷贝 前 要 先 停止 源 
LUN 的 业务 。 


oO LUN 拷 贝 支持 阵列 内 和 阵列 间 拷 贝 。 

0 它 还 支持 源 LUN 在 处 部 阵列 ， 目 标 LUN 在 本 阵列 之 间 的 拷贝 。 
LUN 找 贝 的 使 用 场景 有 : 

0 ”数据 迁移 和 数据 备份 。 


DD 139 0 


LUN 拷 贝 应 用 实践 


4 


FP 交换 机 


LUN Copy 
LUN 拷 贝 存储 系统 


数据 存储 系统 间 迁 移 
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在 存储 系统 升级 、 业 务 迁移 、 新 业务 试 运营 等 情况 下 ， 需 要 对 生产 数据 进行 迁移 。 此 
时 ， 通 过 全 量 LUN 拷 贝 ， 可 以 很 方便 进行 存储 系统 内 或 存储 系统 之 间 的 数据 迁移 。 
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LUN 拷 贝 重要 概念 
产 LUN 
目标 LUN 


进度 位 图 
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。 源 LUN 
o 源 数据 所 在 的 LUN。 
。 目标 LUN 
o 拷贝 后 数据 所 在 的 LUN。 
。 备份 窗口 
o 在 进行 备份 操作 时 6 主机 业务 需要 暂停 的 时 间 。 
。 内 部 快照 


o 在 增 量 LUN 拷 贝 启动 时 会 被 激活 ， 快 速 地 为 源 LUN 产 生 完 全 可 用 的 数据 副本 ， 供 
目标 LUN 进 行 数据 拷贝 。 


。 差异 位 图 
a。 记录 源 、 目 标 LUN 数 据 的 差异 。 
。 进度 位 图 
a 记录 源 、 目 标 LUN 差 异 数据 同步 的 进度 。 
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1.9 克隆 Hyper Clone 


| rR 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





DD 143 0 


EE 


0 1440 


克隆 特性 介绍 


。 概述 


o 克隆 是 在 不 中 断 正常 业务 的 前 提 下 ， 在 物理 上 生成 主 LUN 在 某 个 时 间 点 的 一 份 
完整 拷贝 。 


一 个 克隆 组 支持 一 个 主 LUN 对 应 八 个 从 LUN， 可 以 对 同一 个 主 LUN 备 份 八 份 不 同 
时 间 点 的 数据 。 % 
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克隆 实现 原理 如 上 图 : 

主机 写 主 LUN 

克隆 同时 写 主 LUN 和 从 LUN 

主 从 LUN 都 写成 功 后 ， 克 隆 返回 主机 写成 功 

使 用 从 LUN 时 ， 将 从 LUN 与 主 LUN 分 裂 ， 从 LUN 数 据 与 分 裂 时 主 LUN 数 据 一 致 。 


克隆 应 用 实践 、 


”克隆 比较 典型 的 应 用 之 一 是 升级 演练 。 
”使 用 克隆 所 生成 的 数据 副本 可 以 并 行 开展 应 用 测试 、 数 据 分 析 
等 业务 活动 。 应 用 测试 主机 生产 主机 数据 分 析 卡 机 


疡 辐 
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注意 ， 在 使 用 数据 副本 时 需要 将 副本 与 主 LUN 分 裂 才 能 使 用 。 分 裂 时 ， 从 LUN 的 数据 
与 此 时 主 LUN 的 数据 完全 一 致 。 
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远程 复制 特性 介绍 、 


。 定义 : 
o 远程 复制 (Remote Replication) 是 数据 镜像 技术 的 一 种 ， 通 过 
在 两 个 或 多 个 站 点 维护 若干 个 数据 副本 ， 实 现 数据 的 远 端 备份 和 
恢复 、 持 续 的 业务 数据 支撑 、 数 据 的 迁移 和 分 发 、 数 据 的 灾 帷 恢 


复 。 

e。 分 类 : 
o 同步 远程 复制 
o 异步 远程 复制 
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为 了 解决 远程 复制 时 主机 业务 系统 性 能 与 主 站 点 阵列 和 从 站 点 阵列 (后 简称 主 从 站 点 
) 数据 一 致 性 之 间 的 矛盾 ， 远 程 复制 分 为 以 下 两 种 复制 模式 ， 同 步 远程 复制 和 异步 远程 复 
制 。 


。 同步 远程 复制 : 
o 实时 地 同步 数据 ， 最 大 限度 保证 数据 的 一 致 性 ， 以 减少 灾难 发 生 时 的 数据 丢失 量 


。 异步 远程 复制 : 


o 周期 性 地 同步 数据 ， 最 大 限度 减少 由 于 数据 远程 传输 的 时 延 而 造成 的 业务 性 能 下 


降 。 
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同步 远程 复制 原理 和 特点 


。 特点 : 


数据 同步 | 每 次 同步 数 | ”RPO 对 主 LUN 性 适用 范围 全 支持 从 LUN 个 
周期 据 量 《| (数据 丢失 率 )| ”能 影响 数 











| 实时 较 小 | 0 较 大 同城 2 | 
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我 们 首先 来 了 解 在 同步 远程 复制 模式 中 ， 主 机 IO 的 处 理 流程 。 


主机 发 送 写 MO 至 阵列 ; 主 站 点 阵列 将 写 |/ 〇 的 数据 写 入 主 LUN 并 发 送 写 |/O 至 从 LUN; 
从 站 点 将 写 VO 的 数据 写 入 从 LUN; 待 主 、 从 LUN 写 /OO 均 成 功 后 ， 阵 列 的 主 LUN 向 主机 返 
回 写 MO 成 功 。 

同步 远程 复制 的 特点 如 下 : 

由 于 主机 每 次 写 都 要 同时 写 主 从 LUN， 因 此 其 同步 周期 是 实时 的 ， 每 次 同步 的 数量 量 
较 小 。 当 主 LUN 发 生 故 障 时 ， 闪 LUN 的 数据 由 于 总 是 与 主 LUN 实 时 同步 的 ， 数 据 的 丢失 率 
， 即 RPO 为 0。 但 是 ， 由 于 主机 的 一 次 写 ID 需要 实时 同步 到 从 LUN 后 才能 返回 写成 功 ， 增 
加 了 IO 时 延 因 此 对 主 LUN 的 性 能 影响 较 大 ; 随 着 主 从 阵列 之 间 的 距离 加 大 ， 这 个 时 延 也 加 
大 。 因 此 同步 远程 复制 的 适用 范围 是 同城 的 。 

存储 系统 的 同步 远程 复制 可 以 支持 一 个 主 LUN 有 两 个 从 LUN， 但 是 这 个 两 个 从 LUN 必 
须 是 两 个 不 同 的 从 阵列 。 
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异步 远程 复制 原理 和 特点 


。 原理 : 


数据 同步 周 | 每 次 同步 数 RPO 对 主 LUN 性 能 
期 据 量 (数据 丢失 率 ) 影响 





一 取决 于 同步 周 
ce 于 同步 周期 


较 大 (取决 
数据 改变 量 


据 改 变量 ) 
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现在 来 了 解 在 异步 远程 复制 模式 中 ， 主 机 IO 的 处 理 流程 。 


首先 ， 在 创建 异步 远程 复制 关系 后 ， 宇 从 站 点 的 阵列 要 分 别 为 主 LUN 和 从 LUN 创 建 一 
个 快照 。 在 主机 将 写 MO 至 发 送 给 主 站 点 阵列 后 ; 主 站 点 阵列 将 写 I/O 的 数据 写 入 主 LUN， 
就 向 主机 返回 写 MO 成 功 。 同 时 ， 主 站 点 将 主 从 LUN 的 差异 记录 在 数据 差异 表 DCL 中 。 在 
启动 主 从 LUN 的 同步 时 ， 激 活 主 从 LUN 的 快照 ， 将 差异 数据 同步 到 从 LUN。 

这 里 ， 主 LUN 快 照 的 作用 是 保证 同步 过 程 中 读 取 到 的 主 LUN 数 据 的 一 致 性 ， 从 LUN 快 
照 可 以 备份 从 LUN 在 同步 开始 之 前 的 数据 ， 避 免 同 步 过 程 中 的 异常 情况 ， 从 而 导致 从 LUN 
数据 的 不 可 用 。 

异步 远程 复制 的 特点 如 下 : 

由 于 主机 每 次 写 只 写 主 LUN， 主 从 LUN 的 数据 同步 是 周期 性 的 ， 因 此 其 同步 周期 是 定 
时 的 ， 每 次 同步 的 数量 量 取决 于 同步 周期 内 主 LUN 的 数据 改变 量 。 主 站 点 发 生 故 障 后 ， 从 
LUN 保 留 的 是 汪 一 个 周期 同步 的 数据 ， 本 周期 的 数据 还 没有 同步 ， 将 会 丢失 。 因 此 ， 数 据 
丢失 率 RPO 也 取决 于 同步 周期 内 主 LUN 的 数据 改变 量 。 但 是 ， 这 种 同步 模式 的 好 处 是 主机 
写 IO 时 内 需 写 到 主 LUN， 因 此 对 主 LUN 的 性 能 影响 较 小 ， 对 于 异地 同步 比较 适用 。 

存储 系统 的 异步 远程 复制 可 以 支持 一 个 主 LUN 有 一 个 从 LUN。 


0 
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远程 复制 一 致 性 组 


用 于 保持 多 个 LUN 之 间 镜 像 数 据 的 时 间 一 致 性 
所 有 成 员 一 起 同步 、 分 裂 、 断 开 和 主 从 切换 
每 个 一 致 性 组 可 有 8 个 相同 复制 类 型 的 远程 复制 
主 、 从 LUN 可 处 于 任意 控制 器 
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在 大 中 型 数据 库 应 用 中 ， 数 据 、 日 志 、 修改 信息 等 存储 在 阵列 的 不 同 LUN 中 ， 通 常 称 
这 种 有 关联 的 LUN 为 非 独 立 LUN ， 缺 少 其 中 一 个 LUN 的 数据 ， 都 将 导致 其 他 LUN 中 的 数据 
失效 。 

我 们 希望 可 以 同时 对 这 些 LUN 同 时 进行 数据 的 同步 或 分 裂 等 操作 ， 以 保证 多 个 从 LUN 
之 间 数 据 的 关联 性 不 变 ， 从 而 保证 容 灾 备份 数据 的 完整 性 和 可 用 性 。 

Oceanstor 18000 存 储 系统 的 提供 的 远程 复制 一 致 性 组 ， 是 多 个 远程 复制 的 集合 。 
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远程 复制 应 用 实践 \ 
. 软 硬 件 准 备 4. 主 从 端 业务 
.组 网 选择 5. 初始 同步 
.复制 模式 选择 6. 拷贝 速率 
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某 局 点 生产 中 心 的 核心 业务 数据 通过 FC SAN 或 者 IP SAN 需 要 保存 在 一 人 台 Oceanstor 
18000 设 备 上 ， 同 时 ， 为 了 保证 数据 的 可 靠 性 % 需要 建立 容 灾 中 心 ， 对 生产 中 心 的 业务 数 
据 进行 容 灾 备 份 。 

容 灾 备份 的 方案 包含 几 个 步骤 : 

1. 软 硬 件 准备 : 硬件 上 主要 包含 Deeanstor 18000 两 台 ， 生 产 中 心 和 容 灾 中 心服 务 器 ， 

FC 或 GE 交换 机 ; 交换 机 用 于 连接 生产 中 心 和 容 灾 中 心 的 OceansStor 18000 存 储 系统 

。 服 务 器 上 除 安装 应 用 软件 外 hf 还 应 安装 UltraAPM 软 件 。UltrgAPM 安 装 在 业务 服务 器 

上 ， 它 是 与 存储 配套 的 ,对 存储 系统 和 应 用 服务 器 的 容 灾 备份 特性 进行 统一 管理 的 软 

件 ， 为 应 用 系统 提供 数据 一 致 性 保障 功能 。 容 灾 中 心服 务 器 的 软 硬 件 配置 要 与 生产 中 

心 完 全 一 致 。 

2. 组 网 选择 : 如 果 客 户 环 境 中 ， 容 灾 中 心 与 生产 中 心 距离 较 近 ， 我 们 可 以 采用 速度 更 快 

的 FC 组 网 的 远程 复制 进行 备份 。 如 果 距 离 较 远 或 者 想 利用 现 有 的 IP 网 络 ， 可 以 使 用 

iscsi 组 网 。 


3. 复制 模式 选择 : 如 果 用 户 对 IO 性 能 要 求 较 高 ， 一 般 采 用 异步 远程 复制 ， 同 步 任务 一 般 
选择 在 业务 量 小 的 时 候 进行 。 异步 远程 复制 对 IO 性 能 影响 较 小 ， 当 灾难 发 生 的 时 候 会 
丢失 部 分 数据 ， 丢 失 数 据 的 多 少 取 决 于 上 次 同步 开始 时 到 当前 时 间 的 主机 写 ID 的 多 少 
。 而 同步 远程 复制 对 IO 性 能 影响 较 大 ， 但 是 数据 丢失 率 几 乎 为 0， 可 在 容 灾 中 心 与 生产 
中 心 距离 近 且 采用 FC 组 网 时 采用 。 

4,“ 主 从 端 业务 : 配置 远程 复制 时 ， 主 端 可 以 不 用 断 业 务 ， 但 从 LUN 不 能 接收 主机 的 读 写 业 


务 。 
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远程 复制 应 用 实践 

1. 软 硬 件 准备 4. 主 从 端 业务 
2. 组 网 选择 5. 初始 同步 
3. 复制 模式 选择 6. 拷贝 速率 
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5. 初始 同步 : 配置 远程 复制 时 ， 一定 要 选择 初始 同步 。 


6.， 拷贝 速率 : 远程 复制 的 拷贝 速率 与 当时 的 带宽 和 网 速 、 所 用 的 盘 的 类 型 、 所 用 LUN 所 
属 的 Raid 组 类 型 等 都 相关 。 
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远程 复制 应 用 实践 
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完成 配置 后 ， 要 使 用 远程 复制 将 数据 从 生产 中 心 镜 像 至 灾 备 中 心 。 生 产 中 心 发 生 灾难 
后 ， 灾 备 中 心 接管 业务 。 生 产 中 心 恢复 后 ， 将 数据 恢复 到 生产 中 心 ， 并 恢复 原 业务 。 
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全 目录 


. 统一 存储 技术 
. 主机 同 存储 联动 管理 


. 链 路 管理 和 组 网 
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UltraAPM 概 述 \ 


Oceaqanstor UltrgAPM 是 一 款 华 为 开发 的 软件 套件 ，UltrgAPM 利 用 底层 存储 系统 
所 提供 的 增值 特性 ， 在 应 用 服务 器 侧 针 对 各 类 常见 应 用 系统 提供 关键 数据 远程 复制 的 
数据 保护 及 容 灾 恢复 解决 方案 。 
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UltraAPM 具 有 以 下 功能 特性 : 


口 


口 


口 


稳妥 的 应 用 数据 保护 方式 

使 用 远程 复制 的 方式 对 数据 进行 保护 

完善 的 应 用 程序 兼容 性 支持 Oracle、SQL Server 等 
灵活 、 智 能 的 应 用 系统 保护 策略 


UltraAPM 可 自动 感知 服务 器 上 已 经 安装 的 应 用 程序 ， 并 针对 不 同 的 数据 对 象 定 
制 灵活 的 时 间 策 略 和 保护 方式 


全 面 的 应 用 系统 保护 方式 
支持 任务 关联 功能 ， 完 全 匹配 真实 的 应 用 环境 和 应 用 策略 


方便 直观 的 管理 模式 : UltraAPM 提 供 了 直观 方便 的 管理 平台 “UltraAPM 
System ， 真 正 实 现 了 应 用 服务 器 、 应 用 系统 、 存 储 系统 的 一 站 式 数据 保护 和 容 
灾 管 理 
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UltraAPM 组 成 


UltraAPM System 


策略 服务 器 被 保护 服务 器 


。 APM 组 件 说明 
o_ UltraAPM 包 含 UltraAPM System 组 件 和 UltraAPM Agent 组 件 。 
o 其 中 UltraAPM System 组 件 是 UltraAPM 的 服务 端 控制 台 组 件 ， 主 要 提供 针对 应 用 服务 器 、 存 
储 系统 以 及 数据 保护 与 容 灾 任 务 及 策略 的 配置 、 管 理 等 工作 。UltraaAPMeAgent 组 件 是 
UltraAPM 的 客户 端 组 件 ， 部 署 在 需要 保护 的 应 用 服务 器 上 ， 提 供 数 据 广 致 性 保障 功能 。 
o UltraAPM System 组 件 通过 控制 UltraAPM Agent 组 件 以 及 关联 的 存储 系统 来 完成 应 用 服务 器 
侧 各 种 关键 数据 的 保护 和 容 灾 恢 复 。 
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注意 事项 : 

UltraAPM System 与 UltraAPM Agent 不 能 安装 在 同一 人 台 服 务 器 上 

所 有 安装 了 UltraAPM System 组 件 和 UltraAPM Agent 组 件 的 应 用 服务 器 均 需要 在 
APM 中 进行 主机 注册 。 

随便 修改 APM 主 机 的 主机 各 ,如 果 修 改 了 主机 名 ， 又 改 了 主机 的 IP， 会 导致 软件 


APM 安 装 部 署 方式 (本 地 ) 


WAN/LAN 


ee UltraAPM Agent 
J 4 
应 用 服务 器 应 用 服务 器 
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本 地 容 灾 部 署 说 明 : 

支持 包括 集群 环境 和 非 集群 环境 。 

UltraAPM Agent 组 件 必 须 正确 安装 在 各 个 应 用 服务 器 上 (每 台 服 务 器 ) 。 
策略 服务 器 、 应 用 服务 器 和 存储 系统 必须 确保 能 互相 连通 (通过 IP 网 络 ) 。 
集群 环境 支持 类 型 :A/ 人 A 集群 组 、A/P 和 集群 组 以 及 Oracle RAC 组 
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APM 安 装 部 署 方式 〈 异 地) 
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。 客户 设备 iP 地址 为 私 网 地 址 ， 隐 藏 在 内 部 网 络 中 。 

。 支持 包括 集群 环境 和 非 集群 环境 。 

。 UltraAPM Agent 组 件 必须 正确 安装 在 各 个 应 用 服务 器 上 。 

。 策略 服务 器 、 应 用 服务 器 和 存储 系统 必须 确保 能 互相 连通 ; 本 地 存储 系统 与 远 端 
。 存储 系统 必须 确保 互相 连通 。 
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鸭 目录 

1. 统一 存储 技术 

2. 主机 同 存 储 联动 管理 
3. 链 路 管理 和 组 网 
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。 ” 链 路 指 阵 列 直接 进行 数据 传输 的 通道 ， 一 般 都 是 阵列 主机 接口 直接 的 连接 
。 ” 链 路 按照 线路 可 以 分 为 IP 链 路 和 FC 链 路 
。 ” 链 路 按照 控制 器 的 对 应 关系 分 为 平行 链 路 和 交叉 链 路 


X 


平行 链 路 
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在 进行 组 网 时 ， 两 台 存 储 设备 之 间 不 能 同时 使 用 FC 和 iSCSI 进 行 组 网 。 


为 了 提高 系统 的 性 能 ， 建 议 将 所 有 主 LUN 或 从 LUN 创 建 在 一 个 控制 器 下 ， 然 后 选择 平 
行 组 网 或 交叉 组 网 的 方式 ， 使 拥有 所 有 宇 LUN 的 控制 器 与 拥有 所 有 从 LUN 的 控制 器 连接 在 
一 起 。 


0 1600 


平行 组 网 
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主 端 存储 系统 控制 器 A 的 主机 端口 与 从 端 存储 系统 控制 器 A 的 主机 端口 连接 ， 或 者 主 端 
存储 系统 控制 器 B 的 主机 端口 与 从 端 存储 系统 控制 器 B 的 主机 端口 连接 。 平 行 组 网 的 示意 
下 所 示 《以 S5500T 存 储 系统 的 iSCSI 组 网 为 例 ) 。 
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交叉 组 网 


Wb huawel 





主 端 存储 系统 控制 器 A 的 主机 端口 与 从 端 存储 系统 控制 器 B 的 主机 端口 连接 ， 或 者 主 端 
存储 系统 控制 器 B 的 主机 端口 与 从 端 存储 系统 控制 器 A 的 主机 端口 连接 。 交 叉 组 网 示意 图 如 
下 所 示 《以 S5500T 存 储 系统 的 iSCSI 组 网 为 例 ) 。 
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IP 链 路 管理 - 添加 目 标 顺 


添加 目标 器 


本 冰 控 制 器 

本 端 网 DID 
目标 器 IP 地 址 
目标 器 TCPNIP 端 口 
谤 路 连接 恢复 第 略 
是 否 自动 连接 
CHAP 认 证 


3260 


自动 


=] 
征 
不 


取消 CO 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. i HUAWEI 


。 本 端 网 口 D: 选择 用 于 连接 对 端的 本 端 


SC 目的 ID 号 ， 可 以 在 “端口 ”界面 中 查 


。 目标 器 |P 地 址 : 输入 对 端的 SCSI 口 的 IP 地 址 。 


。 其 余 配 置 项 根据 实际 情况 进行 修改 。 





询 到 
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IP 链 路 管理 -设置 目标 器 


FC 主轴 湛 口 。 ISCSI 主 机 漳 口 。 SAS 主 机 消 口 FCoE 主机 江口 


娘 小 。。 IP 地址 ” 基调 管理 全 定 消 口 ” 
EL 造 中 孝 -1 
从 和 290 胸口 模块 四 


iSCSI 村 演 管 理 议 码 纺 计 


iSCSI 车 澳 管 理 


圳 功 院 极 种 夫 耻 位 建立 本 演 启 幼 吕 和 十 纲目 怀 吕 关 YSCS44 知 ， 力 本 有 请 JSCSIRD 不 辐 博 目 件 器， 并 耻 行 各 JR 和 轩 . 
本 碳 忆 2) 澡 
名 多 之 鸡 中 斤 1 
本 启动 吾 名 称 
: 


8 lon 2006-08 com hupweisymantec oceanspace 21000022310984c notcontgd 


十 珊 目 慎 器 
SN 造 中 雪 1 
目标 党 名称 


jn 2006.08 com 。 FP9 二 口 可 决 如 102188821 
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BD 


如 果 两 全 阵列 间 通 过 IP 链 路 进行 连接 ,。 需 要 在 两 全 阵列 的 端口 设置 中 添加 对 方 为 目标 
器 。 


IP 链 路 管理 -远程 连接 管理 


Ld 9 从 LUN ”类 态 近 制 ” | 运程 连接 管理 
选中 数 - 
名 称 有 名 机 模式 

ba Remoterteshicabo 。 0022A10984CF00 别 步 


me 
加 瞎 和 远 清 设备 信息 
名 执 口 借 决 
a RD 
名 更 全 
司 让 由 竞 源 
BuN 
回 块 让 好 过 


乌 邹 :1 


全 支 各 而 > 
7 一 wft 息 
小 分 娄 了 多 
mm 
号 主旨 
业主 
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添加 目标 器 之 后 ， 可 以 在 目标 器 管理 中 查看 到 已 经 添加 的 目标 器 人 








生理 二 WN 


Wb huawel 


言 息 ， 此 时 的 状态 时 


“未 连接 ”， 需 要 点 击 “ 连 接 ”， 同 时 ,需要 在 两 合 阵列 上 分 别 确 认 链 路 状态 是 否 已 连接 
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IP 链 路 管理 -添加 链 路 


远 端 设备 信息 


设备 名 称 : 。” S5600T 
设备 NWN: 0x210089d1053a12200 


连接 方式 | 平行 


融 痪 是否 受 限 | 带 谈 大 小 (Kbits) | 达 席 利用 祭 tjL 


下 
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。 在 链 路 类 型 选择 iSCSI 
。 在 连接 方式 选择 平行 或 交叉 
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FC 链 路 管理 -端口 查看 


国 OceanStor ISM 


@ i) FC 主 抽 济 口 。 六 CSI 主 机 满口 。 SAS 主 机 山口 FCoE 主 机 江口 


Css 个 次 。 刘 玛 统计 
与 的 8 运 中 数 -1 
号 D 


A 
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如 果 两 合 阵列 的 FC 主机 口 之 间 通 过 光纤 网 络 已 经 连通 ， 并 且 端 口 协商 已 经 成 功 ， 那 么 


两 合 之 间 的 FC 链 路 就 已 经 连接 。 
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FC 链 路 管理 -远程 连接 管理 


全 二 RH ， 
| 
二 人 家 全 银 
和 

国 355007 
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如 果 两 台 阵 列 间 的 链 路 已 经 建立 成 功 ,那么 需要 进行 远 之 
托 娃 、 ,那么 需要 进 呈 和 连 接 科 Co 、 
NE 人 么 需要 进行 远程 连接 管理 ， 指 定 两 合 阵列 间 


两 合 阵列 间 的 要 么 只 能 通过 FC 链 中 进行 连接 ， 要 么 只 能 通过 iSCSI 链 路 进行 连接 
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FC 链 路 管理 -添加 链 路 


远 端 设备 信息 


设备 名 称 : S5500T 
设备 WWN: 0x21000022a10984cf 


连接 方式 : | 平行 


| 带宽 是 否 受 限 _ 带宽 大 小 (Kbitis) | 带宽 利用 
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添加 链 路 完成 后 ， 阵 列 之 间 的 链 路 管理 完成 s 
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思考 题 


1. RAID2.0 同 传统 RAID 的 区 别 是 什么 ? 
2. 华为 存储 有 哪些 功能 用 来 提升 客户 体验 ? 
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@ 总 结 

。 统 一 存储 产品 形态 
。 主 机 同 存储 联动 管理 
。 链 路 管理 和 组 网 
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@ 习题 


。 判断 题 
1. SmartTier 每 个 存储 层 里 可 以 有 不 同 硬 盘 类 型 (Tof F) 


以 下 哪些 是 RAID2.0 的 数据 组 织 组 件 ? ( 
A. chunk 

B. CKG 

C. extent 


D. LUN 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





o 单 选 题 : 1.ABCD 
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从 
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@ 目 标 
。 学 完 本 课程 后 ， 您 将 能 
-熟悉 存储 虚拟 化 的 概念 及 其 价值 
= 熟悉 存储 庶 拟 化 技术 实现 方式 及 其 优 缺 点 。 《CC 


o 了 解 虚拟 化 存储 网 关系 统 架 构 及 原理 
o 掌握 虚拟 化 存储 网 关系 统 的 基本 业务 配置 和 操作 
o 了 解 虚拟 化 存储 网 关系 统 高 级 技术 
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全 目录 ， 


. 存储 虚拟 化 简介 
.存储 虚拟 化 技术 概述 
.虚拟 化 存储 网 天 系统 介绍 4 


.虚拟 化 存储 网 关系 统 安装 部 署 与 基本 业务 配置 
.虚拟 化 存储 网 关系 统 高 级 业务 


Ps 
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存储 虚拟 化 定义 


什么 是 存储 虚拟 化 ? 一 SNIA 根据 以 下 几 个 角度 进行 定义 


。 在 不 同 的 实现 层次 : 
o 主机 层 实现 (Application, OS,HBA) 
o ”网 路 层 实现 (Switch, Router, Gateway) 
o 存储 层 实 现 (Array , Library Device) 
。 对 主机 透明 化 : 
0 物理 路 径 
5 设备 规格 
o 数据 存放 物理 位 置 
。 实现 数据 存放 位 置 及 部 署 的 透明 化 
。 动态 操作 使 能 : 
o 实现 不 中 断 业 务 重 配 置 
o 数据 存放 位 置 对 主机 环境 透明 
。 存储 虚拟 化 是 分 层 ， 分 级 和 多 样 化 的 
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虚拟 存储 技术 将 主机 应 用 层 、 网 络 层 和 存储 层 设 备 进行 抽象 化 统一 管理 ， 向 服务 器 层 
屏蔽 存储 设备 的 特殊 性 ， 而 只 保留 其 统一 的 逻辑 特性 ， 从 而 实现 了 存储 系统 集中 、 统 一 而 
又 方便 的 管理 。 存 储 虚 拟 化 由 多 种 不 同 的 类 型 、 方 法 来 实现 并 且 虚 拟 化 程度 不 一 。 对 比 一 
个 计算 机 系统 来 说 ， 整 个 存储 系统 中 的 虚拟 存储 部 分 就 像 计算 机 系统 中 的 操作 系统 ， 对 下 
层 管 理 着 各 种 特殊 而 具体 的 设备 ， 而 对 竺 层 则 提供 相对 统一 的 运行 环境 和 资源 使 用 方式 。 


虚拟 化 是 一 种 实现 对 逻辑 环境 进行 简单 管理 的 有 效 手段 。 通 过 虚拟 化 ， 用 户 将 摆脱 底 
层 物 理 环境 的 复杂 性 ， 充 分 利用 基于 异 构 平台 的 存储 空间 ， 在 开放 的 基础 上 实现 对 资源 的 
有 效 规划 。 虚 拟 化 可 以 自动 配置 存储 设备 及 其 空间 ， 使 用 户 能 在 一 个 域 中 使 用 在 物理 上 分 
散 存 在 的 所 有 存储 资源 ,以 便 跨 地 区 管理 不 可 预测 的 事件 ， 如 业务 不 连续 性 、 对 容量 需求 
的 调整 、 员 工 的 变化 等 而 无 论 这 些 存 储 资源 所 处 的 存储 域 的 位 置 、 大 小 、 类 型 和 制造 商 
如 何 ， 都 将 被 从 单一 逻辑 视图 中 进行 管理 。 
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存储 虚拟 化 价值 \ 


软件 成 本 
16% 
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。 成 本 节约 、 高 效 、 简 化 。 
0 在 传统 的 开放 系统 环境 中 ， 主 机 系统 拥有 自己 的 存储 资源 ， 每 个 系统 管理 员 需 
针对 每 一 种 系统 来 控制 存储 资源 的 分 配 、 使 用 和 管理 。 此 外 ， 每 一 侣 服务 器 还 拥 
有 一 个 单独 配置 和 管理 的 交 件 系统 。 据 有 关 权 威 调查 显示 ， 传 统 的 存储 环境 中 ， 
开放 系 统 的 容量 利用 率 仅 为 40 允 至 50 唤 ， 这 种 低 使 用 率 造成 了 企业 不 得 不 耗费 大 
量 的 额外 成 本 来 满足 存储 扩容 的 需求 。 


0 因此 随 着 存储 技术 的 不 断 发 展 ， 存 储 虚 拟 化 技术 与 方案 以 其 真正 意义 上 的 开放 ， 
在 众多 IT 技 术 中 脐 颖 而 出。 在 虚拟 存储 环境 下 ， 存 储 对 用 户 来 说 将 变 得 透明 ， 用 
户 可 以 不 必 关 心 存储 设备 的 功能 差别 、 容 量 大 小 、 设 备 类 型 和 制造 商 如 何 ， 所 有 
的 设备 将 被 统一 管理 ， 而 且 赋 予 统一 的 功能 如 Floshcopy、 远 程 灾 备 等 。 今 天 ， 
存储 虚拟 化 已 经 不 再 是 一 个 陌生 的 词汇 ， 越 来 越 多 的 企业 开始 关注 存储 虚拟 化 ， 
同时 将 其 实施 到 IT 规划 中 。 
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图 目录 


1. 存储 虚拟 化 简介 

2. 存储 虚拟 化 技术 概述 
2.1 存 储 虚拟 化 技术 实现 分 类 
2.2 基于 各 层 的 存储 虚拟 化 


虚拟 化 存储 网 关系 统 介绍 


虚拟 化 存储 网 关系 统 安装 部 署 与 基本 业务 配置 





虚拟 化 存储 网 关系 统 高 级 业务 
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存储 虚拟 化 技术 实现 技术 分 类 S 


实现 


按 实现 层次 分 


i 全 
基于 主机 服务 器 的 虚拟 化 基于 网 络 的 虚拟 化 ee 


按 实 现 结果 分 


块 级 虚拟 化 盘 级 虚拟 化 磁带 ， 磁 带 库 虚拟 化 文件 系统 虚拟 化 





™、 
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。 实现 方式 : 带 内 虚拟 、 带 外 虚拟 。 
。 实现 层 : 基于 主机 的 虚拟 、 基 于 网 络 的 虚拟 化 基于 存储 设备 、 存 储 子 系统 的 虚拟 化 。 
实 


。 实现 结果 : 块 虚拟 、 磁 盘 虚 拟 、 磁带 忌 磁带 驱动 器 、 磁 带 库 虚 拟 、 文 件 系统 虚拟 化 。 
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图 目录 


1. 存储 虚拟 化 简介 

2. 存储 虚拟 化 技术 概述 
2.1 存 储 虚 拟 化 技术 实现 分 类 
2.2 基于 各 层 的 存储 虚拟 化 


虚拟 化 存储 网 关系 统 介绍 
虚拟 化 存储 网 关系 统 安装 部 署 与 基本 业务 配置 
虚拟 化 存储 网 关系 统 高 级 业务 
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基于 主机 层 的 存储 虚拟 化 \ 


。 应 用 场景 : 多 个 异 构 的 阵列 的 LUN 在 服务 器 上 被 整合 为 一 个 大 的 
LUN 使 用 ， 常 用 在 不 同 磁盘 阵列 间 做 数据 镜像 保护 ， 容 量 扩容 等 。 
实现 方式 : 一 般 使 用 操作 系统 的 逻辑 卷 管理 软件 ， 不 同 操 作 系 统 的 
逻辑 卷 管理 软件 也 不 相同 。 


“a ww 上 电 由 局 
‘a ee 
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不 同系 统 有 自己 的 卷 管理 软件 。 像 Soloris 使 用 YM，HPUX 和 AIX 使 用 LVM 卷 管理 软件 。 


卷 管理 方式 还 可 以 通过 第 三 方 软件 进行 管理 ， 如 Symantec 的 VxVM 软 件 可 以 在 不 同 
的 系统 平台 上 进行 磁盘 卷 管理 。 


卷 管理 软件 可 以 使 服务 器 的 存储 空间 可 以 跨越 多 个 异 构 的 磁盘 阵列 ， 比 如 LUN 1 和 
LUN 2 来 自 不 同 的 阵列 ， 在 主机 上 由 EYM 卷 管理 软件 合成 一 个 大 LUN (LUN 1 + LUN2) 。 
同时 也 可 以 通过 卷 管理 软件 提供 丰富 的 数据 管理 能 


。 优点 : 支持 异 构 的 存储 阵列 
。 缺点 : 
o 占用 主机 资源 多 六 人 降低 应 用 性 能 。 
o 主机 升级 、 维 护 和 扩展 非常 复杂 ， 且 容 易 造成 系统 不 稳定 性 。 
o 需要 复杂 的 数据 迁移 过 程 ， 影 响 
o 业务 连续 性 。 
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LVM 概 念 及 架构 


LVM ， 逻 辑 卷 管理 器 (Logical Volume Manager) ， 它 
是 用 于 管理 逻辑 卷 的 ，LVM 在 Linux 内 核 得 到 支持 。 


Wb huawel 





在 传统 的 存储 模型 中 ， 文 件 系 统 是 直接 构建 于 物理 分 区 之 上 的 ， 物 理 分 区 的 大 小 就 决 
定 了 其 上 文件 系统 的 存储 容量 ， 因 此 对 文件 系统 的 存储 容量 的 调整 就 变 得 比较 繁琐 。 而 
LVM 设计 的 主要 目标 就 是 实现 文件 系统 存储 容量 的 可 扩展 性 ， 使 对 容量 的 调整 更 为 简易 。 

PP， 物 理 分 区 (Physical Partition) 、， 如 硬盘 的 分 区 ， 或 RAID 分 区 。PVY， 物 理 卷 ( 
Physical Volume) ， 是 PP 的 LVM 抽象 ， 它 维护 了 PP 的 结构 信息 ， 是 组 成 VC 的 基本 
逻辑 单元 ， 一 般 一 个 PY 对 应 一 个 PP PE， 物 理 扩展 单元 (Physical Extends) ， 每 个 
PV 都 会 以 PE 为 基本 单元 划分 6h VG， 卷 组 (Volume Group) ， 即 LVM 卷 组 ， 它 可 由 
一 个 或 数 个 PV 组 成 ， 相 当 于 LVM 的 存储 池 。LE， 逻 辑 扩展 单元 (Logical Extends) ， 
组 成 LV 的 基本 单元 ， 志 个 LE 对 应 一 个 PE。LV ， 逻 辑 卷 (Logical Volume) ， 它 建立 在 
VG 之 上 , 文件 系统 之 下 ， 由 若干 个 LE 组 成 。 
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基于 网 络 层 的 存储 虚拟 化 \ 


途 : 异 构 不 同 存储 系统 整合 和 统一 数据 管理 。 
: 通过 在 存储 域 网 (SAN) 中 添加 虚拟 化 引擎 实现 。 
: HW VIS6600T、 IBM SVC、 EMC Invista 


主机 1 主机 2 主机 3 主机 4 


了 村 “全 站 RS 


SAN+ 虚 拟 化 引擎 
< rm Cg 
S oe 


阵列 1 阵列 2 阵列 3 阵列 4 
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阵列 1 阵列 2 阵列 3 阵列 4 被 虚拟 化 引擎 统一 管理 ， 资 源 通过 虚拟 化 引擎 可 任意 映射 不 
同 的 主机 。 


。 优点 : 
o 与 主机 无 关 ， 不 占用 主机 资源 。 
o 能 够 支持 异 构 主机 、 异 构 存 储 设备 。 
o 统一 管理 不 同 存储 设备 的 数据 。 
o 构建 统一 管理 平台 , 可 扩展 性 好 。 
。 缺点 : 非 主流 厂商 总 品 成 熟 度 较 低 ， 存 在 和 不 同 存储 和 主机 的 兼容 性 问题 。 
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华为 VIS6600T . 


虚拟 化 能 力 

异 构 阵列 资源 整合 

o 网 络 层 虚拟 化 架构 ， 能 将 不 同 品牌 、 不 同型 号 、 不 同 架构 的 存储 设备 整合 为 统一 
的 存储 资源 池 ， 用 户 只 需要 关注 VI5S6600T 提 供 的 逻辑 存储 资源 ， 而 不 必 关 心 妃 
端 存储 的 具体 形态 以 


FC 和 IP 的 无 颖 融合 

o 前 端 支持 FC 和 iSCSI 主机 端口 ， 后 端 支持 FCSAN 阵 列 和 IP SAN 阵 列 

资源 按 需 分 配 

o 人 允许 应 用 程序 向 用 户 提供 的 容量 多 于 在 存储 系统 中 实际 分 配 的 容量 ， 提 高 了 存储 
容量 利用 率 ， 使 资源 调配 更 简化 ， 容 量 分 配 更 灵活 ， 可 降低 总 体 拥 有 成 本 
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。 VIS6600T 是 一 款 基于 网 络 层 实现 的 存储 虚拟 化 产品 。 

。 它 的 主要 优势 在 于 : 
0 兼容 异 构 的 主机 操作 系统 和 存储 磁盘 阵列 。 
0 基于 日 志 机 制 的 复制 技术 , 保障 容 灾 数 据 的 一 致 性 。 
0 无 需 在 主机 端 安 装 容 灾 软件 ， 同 时 不 影响 主机 性 能 。 


0 可 提供 基于 存储 虚拟 化 的 数据 迁移 方案 ， 以 解决 数据 首次 同步 占用 较 多 带宽 和 时 
间 的 问题 。 


可 扩展 性 强 ,< 新 增 主机 或 存储 设备 可 快速 便捷 地 接 入 现 有 容 灾 网 络 。 


口 
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基于 存储 设备 、 存 储 子 系统 的 虚拟 化 


。 主要 用 途 : 在 存储 设备 内 部 ， 进 行 数据 存储 管理 的 虚拟 化 。 


。 实现 方式 : 将 磁盘 上 的 数据 进行 打 散 并 重新 组 合 再 分 配 使 用 。 
。 常见 产品 : 

o HW HVS 系 列 

o HP EVA 
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阵列 1 可 以 将 阵列 2 和 阵列 3 到 阵列 N 的 资源 整合 ， 对 主机 统一 由 阵列 1 对 外 提供 资源 。 
。 优点 : 

D 与 主机 无 关 ， 不 占用 主机 资源 和 网 络 资源 。 

oO 数据 管理 功能 丰富 。 
。 缺点 : 

oO 对 阵列 处 理性 能 要 求 更 高 。 
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Huawei RAID2.0 技 术 


Disk Domain ( 盘 域 ) 

Storage Pool (存储 池 ) & Tier 
Disk Group (DG)”( 盘 组 ) 
LD (逻辑 盘 ) 

Chunk (CK) ( 块 ) 

Chunk Group (CKG) ( 抉 组 ) 
Extent ( 卷 区 ) 

Grain ( 卷 粒 ) 

Volume & LUN 
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从 虚拟 化 的 角度 来 看 ，RAID2.0 技 术 同 之 前 传统 的 RAID 技 术 有 很 大 的 不 同 ， 传 统 的 
RAID 对 于 数据 存储 的 管理 也 是 虚拟 化 ， 但 是 其 最 小 管理 单位 是 整 块 硬盘 。 而 RAID2.0 是 将 
单 块 硬盘 进行 了 打 散 ， 将 数据 存储 管理 的 粒度 大 大 减 小 ， 使 得 数据 的 组 织 和 管理 更 加 精细 
化 。 

对 存储 系统 这 一 底层 部 件 的 虚拟 化 技术 革新 大 大 提升 了 数据 保存 的 可 靠 性 和 管理 的 灵 
活性 。 
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虚拟 化 存储 网 关系 统 架构 


。 将 不 同 协议 (iSCSI、FC) 、 不 同 架 构 (IP SAN、FC SAN) 、 不 同 品 
牌 的 存储 设备 整合 到 统一 的 存储 资源 池 


ID 


统一 存储 资源 池 


存储 资源 物理 位 置 、 以 


主机 对 存储 阵列 的 
ER 访问 路 径 、 设 备 移 
SRSRERGRGRSRSRER 理 特性 等 对 主 初 让 
D0000090 a 


Command View HiCommand Navishpere Storage Mgr 
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。 存储 资源 物理 位 置 和 具体 现实 透明 化 ， 访 问 路 径 、 设 备 物理 特性 等 对 主机 不 可 见 
。 人 允许 物理 存储 架构 动态 变化 。 
。 从 存储 资源 池 中 动态 分 配 存储 资源 ， 并 实现 存储 集中 管理 。 
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VIS6600T 存 储 硬件 介绍 


控制 模块 

。 双 控制 器 

。 主流 服务 器 平台 

。 自动 变频 ， 降 低能 耗 
。 提供 系统 下 电 技 钮 


接口 模块 

。 12 个 接口 卡 槽 位 。 

。 接口 卡 支持 热 插 拔 。 

。 接口 类 型 丰富 : 8 
Git/s FC 卡 , 1/10GE 卡 ， 
GE 交换 卡 。 
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先进 的 设计 : 模块 化 设计 保证 硬件 灵活 性 . 





风扇 模块 

*。 风扇 5+1 元 余 

。 散热 功 耗 小 

。 智能 精细 化 调 速 


电源 模块 
。 2+2 元 余 
”转换 效率 禹 达 22 鸭 


集群 架构 、 全 元 余 、 全 模块 化 设计 、 实 时 监控 告警 ， 多 种 业务 接口 满足 不 同业 务 需 求 ， 保 


证 硬件 灵活 性 、 可 靠 性 、 扩 展 性 。 
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VIS6600T 产 品 规格 
| vse0r | 


处 理 器 


XEON 5645 





内 存 容量 


48GB 





前 端 端 口 类 型 


8Gb FC 和 1/10GE(iSCS)) 





后 端 端口 类 型 


8Gb FC 和 1/10GE(iSCS)) 





最 大 业务 端口 数 


20(8GbFC)/ 10(10GE) / 20(GE) 





最 大 卷 数目 


4096 





最 大 LUN 数 目 


1024 





最 大 主机 数量 


1024 FC/2561SCS|I 





最 大 卷 容量 


64TB 





节点 数量 


2/4/8 





功 耗 
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SF_AGENT 


SCRIPT 对 SF 软件 所 有 功能 的 脚本 封装 ,提供 自 研 模块 和 第 三 
方 模块 的 交互 ; 久 


支持 FAISCSI 协 议 的 目标 器 驱动 ,提供 VIS 和 主机 的 通 
TGT(FYISCSI) | 信 通 道 ,提供 主机 管理 和 卷 映射 功能 ,响应 用 忘 查询 


设置 操作 
提供 SCSI 协 议 的 支持 .配合 实现 |0 多 路 径 雹 能 
提供 在 VIS 控 制 器 间 的 集群 功能 中 


保存 磁盘 组 和 着 的 信息 
负载 均 衔 、 路 径 选 短 、 分 流 配置 0 和 业务 0 


支持 FCSCSsI 协 议 的 总 动 路 驱 动 ,提供 VIs 和 阵列 的 通 
信 通 道 ,识别 阵列 提供 的 LUN 


对 INVSCSVVXDMP 等 模块 提供 配置 访问 、 修 改 和 保 
存 功 能 
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VIS6600T 存 储 虚 拟 化 \ 


。 VIS6600T 为 数据 管理 系统 提供 了 一 层 虚 拟 的 “ 卷 ” 的 逻辑 设备 ， 来 屏蔽 异 
构 存 储 设备 的 差异 。 


Application 


1 
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。 VIS 的 卷 管理 软件 采用 的 是 VxVM 。 
。 VIS6600T 使 用 两 种 对 象 进行 存 储 管理 : 物理 对 象 和 虚拟 对 象 。 
0 物理 对 象 是 指 物理 磁盘 ， 或 者 类 似 磁盘 的 存储 设备 ， 是 数据 最 终 的 存放 地 。 


0 虚拟 对 象 是 VIS6600T 进 行 存储 设备 管理 的 逻辑 对 象 。VIS6000 通 过 虚拟 对 象 和 物 
理 设备 的 映射 来 访问 存储 设备 。 


。 VIS 提 供 的 虚拟 化 技术 可 以 保证 * 
0 不 对 存储 在 原 设备 LUN 上 的 数据 内 容 做 任何 修改 。 
oO 不 对 存储 在 原 设备 LUN 上 的 数据 位 置 做 任何 修改 。 
9 可 以 在 用 户 现 有 环境 中 无 颖 接 入 VIS。 
0 原 LUN 可 以 随时 恢复 和 原 主机 的 配置 关系 。 
0 对 上 层 的 应 用 无 任何 影响 。 
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VIS6600T 软 件 架 构 \ 


。 VIS6600T 和 集群 卷 管理 系统 CVM 
o 用 于 管理 存储 设备 的 系统 


o 提供 A/A 的 访问 模式 | { [voruMe | 
。 VIS6600T 存 储 管理 软件 ISM 正副 以 
PLEX 





| HOST DISK 





o 为 VIS6600T 的 用 户 提 供 GUI 管 理 
方式 


WIS6600T 内 部 模块 
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功能 特性 介绍 
。 强大 的 异 构 存储 虚拟 化 能 

。 良好 的 可 靠 性 和 运行 稳定 性 

。 支持 Scale-out 扩 展 ， 性 能 线性 增长 

。 灵活 的 业务 与 数据 保护 功能 
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功能 特性 介绍 
。 强 大 的 异 构 存储 虚拟 化 能 


rr 

团 加 和 
= -= 
SETVET SGTVeT Server 
VIS6000T 

-2 

4 
a 


虚拟 存储 资源 池 


Sal 


™ 
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。 业界 领先 的 广泛 兼容 性 ， 能 够 兼容 业界 主流 的 存储 设备 ; 

。 基于 网 络 层 的 异 构 存 储 虚 拟 化 技术 ， 能 够 将 不 同 厂商 存储 整合 为 统一 的 存储 资源 池 ， 实 
现存 储 资源 共享 和 统一 管理 ; 

。 原 有 存储 数据 无 需 迁移 和 转换 。 


0 2000 


功能 特性 介绍 
。 良 好 的 可 靠 性 和 运行 稳定 性 


多 节点 集群 技术 关键 部 件 全 元 余 


tive-Active 集 群 全 接口 卡 等 
节点 依然 可 以 保 关键 人 & 计 ， 可 在 线 
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功能 特性 介绍 
。 支持 Scale-out 扩 展 ， 性 能 线性 增长 
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。 业界 领先 的 Scale-out 扩 展 方式 ， 通 过 扩展 集 单 内 节点 数量 线性 提升 整体 的 业务 处 理 能 
力 ; 
。 客户 可 以 按 需 购买 节点 ， 了 了 条 的 





功能 特性 介绍 
。 灵 活 的 业务 与 数据 保护 功能 
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VIS6600T 基 本 配置 一 命名 规则 


磁盘 别名 命名 规则 


根据 用 户 阵列 原 有 LUN 名 字 来 


尽 ， 


卷 命名 规则 

根据 磁盘 名 字 来 命 
尾 。 

磁盘 组 命名 规则 


根据 应 用 类 型 来 命令 ， 以 dg 结 


尾 。 
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磁盘 别名 命名 规则 

例如 : Data_S01_LO1_DSK1、 
Lock SO01_L02_DSK1、 
Quorum_S01_L02_DSK 
卷 命 名 规则 

例如 : Data_S1L1_VOL: 
Lock_S1_L2 VOL、 


例如 : Orqlce_DG、EXchange_DG 


RVG 命 名 规则 


例如 : OraclENRVG、Exchange_RVG 


SRL 命 名 规则 


例如 :Oracle_ SRL、Exchange _SRL 


DCM 磁 盘 命名 规则 


中 间 加 磁盘 阵列 编号 ， 以 及 Lun 
ID 编号 ， 最 后 以 DSK 结 尾 。 


RVG 命 名 规则 
根据 应 用 类 型 来 命令 ， 以 RVG 结 
尾 。 

SRL 命 名 规则 

根据 应 用 类 型 来 命令 ， 以 5RE 结 
尾 。 

DCM 磁 盘 命 名 规则 

根据 应 用 类 型 来 命令 .以 DSK 结 尾 。 
DCO 磁 盘 命 名 规则 

根据 应 用 类 型 来 命令 .以 DSK 结尾 。 





例如 : @ralce_DCM1_LO01_DSK, Orglce_DCM2 L120_DS 


DCO 磁 盘 命名 规则 


例如 : Oralce_DCO1_DSK, Oralce_DCO2_DSK 


Wb huawel 
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软件 安 半 与 部 置 一 配置 管理 IP 地 址 


。 配置 管理 IP 顺 序 
0 连接 终端 和 设备 串口 
在 终端 服务 器 上 设置 串口 参数 ， 波 特 率 为 115200 
0 串口 登陆 ， 默 认 用 户 名 “admin"”、 密 码 “Admin@storage” 
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软件 安装 与 部 署 一 配置 管理 IP 地 址 


。 默认 管理 IP 
o VIS6600T 机 框 两 个 控制 器 默认 管理 |P 为 分 别 为 192.168.128.101 和 
192.168.128.102 
。 集群 配置 管理 |P 命 令 示例 以 
o 配置 0 节点 控制 器 : 


chgctrlip -~ c0O -i2 -ip 192.168.10.10 - m 255.255.0.O 
192.168.0.1 


o 配置 1 节点 控制 器 : 
chgctrlip ~-c1 -i2 -ip 192.168.10.11 ~- m 2538.23$0.0 -g 
192.168.0.1 
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软件 安装 与 部 署 一 安 效 |ISM 


。 IE 登陆 管理 IP ， 如 : https://129.62.30.80 


3 | 

XHO MD NED RW IAD Who 

里 -日 国 固 的 月 ee 究 romr 已 合 -总 E 回 其 息 冯 
He 


PT TE TT 





OceanStor ISM 


起 9 
点 击 安 
装 ISM 


证 : OcmeGror [SM 程序 侧 要 在 避 E 160_10 及 以 上 疾 世 让 人， 建华 屠 吉 JRE 160 2 oe SAF ne 
本 本 过 


AP 
一 一 一 一 
Nap Pr hansen 
民权 疡 及 华为 持 术 有 有 难 公 司 2004-2012。 人 全 一 人 0 要 利 。 





所 
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软件 安装 与 部 署 一 1ISM 发 现 设备 


请 输入 登录 设备 的 用 户 名 和 密码 ， 然后 选择 设备 类 型 和 发 现 方式 。 
PE admin 
灾 码 -一 
认证 方式 本 设备 


设备 类 型 VIS 


发 现 方式 
9) 指定 IP 地 址 指定 设备 管理 网 口 IP 地 址 进行 发 现 ) 


IP 地 址 129.62.30.80 


指定 IP 地 址 段 (指定 设备 管理 网 口 IP 地 址 段 进行 发 现 ) 


同一 子 网 (在 客户 编 所 在 相交 子 网 中 进行 发 现 ) 





LT 
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安装 与 部 署 一 登陆 ISM 


本 OceanStor ISM 


系 


@ i) 设备 基本 信息 


国 vB > 和 名称 ws 产品 V200R003C00 
总 PF 地 理 位 置 。 。 成天 正二 
本 条 统 甩 置 设备 序列 导 - 21005b790ba12200 
及 村 设备 型 导 VIS6000T 
Cr | 设备 时 间 
国 存 如 次 再 
[的 训 间 全息 主机 /主机 组 统计 配件 信息 统计 

主机 本 数量 2 WE 要 量 3 
主机 数量 控制 器 数量 6 
抽身 的 垂 数 量 风 局 外 重 18 
局 动 加 要 全 2 电大 数量 12 
连 瑕 的 已 翅 入 当量 2 


存 信 资源 统计 
人 


进 委 入 组 数 且 2 于 久生 数量 分 右 图 逐 上 熏 组 窜 显 分 布 图 
所 区 量 P E 
进入 全 当量 
复制 一 发 性 组 数量 
快照 一 至 性 组 数量 

dr = x 

本 来 名 游人 多 剧情 站 # 空 败 匡 情 鲍 “已 用 矣 二 全 可 用 窗 恒 * 已 用 容 恒 
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在 ISM 界 面 可 以 对 设备 的 各 项 运行 信息 进行 查看 ， 对 设备 运行 状态 进行 实时 监控 。 
时 对 各 项 功能 进行 配置 。 
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软件 安 闻 与 部 置 一 配置 集群 心跳 


。 步骤 1 通过 CLI 方式 登录 VIl96600T 集群 的 一 个 节点 
o 登录 CLI 的 用 户 与 登录 GUI 的 用 户 通用 。 初 始 时 ， 请 使 用 
VIS6600T 提供 的 用 户 名 为 “admin”"、 密 码 为 
“Admin@storage” 的 超级 管理 员 用 户 登 录 。 以 


。 步骤 2 使 用 chgheartmode 命令 设置 集群 心跳 模式 
.人 钢 属 站 if2 个 必须 印 填 为 外 部 1 交 
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chgheartmode 命令 的 格式 和 参数 说 明 如 下 : 

chgheartmode -m moge 

mode 为 集群 的 心跳 模式 ，0 一 一 内 部 心跳 ; 1 外 部 心跳 。 
命令 执行 时 会 提示 确认 修改 ， 确 认输 入 y， 回 车 后 集群 自动 重启 。 
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基本 功能 配置 一 配置 前 检查 


在 配 界 业务 前 ， 请 检查 硬 
安装 、 软 任 安 装 及 初始 
配 办 的 结果 是 否 满足 配 
所 宕 的 要 求 。 人 


配置 存储 虚拟 化 


配置 增值 业务 < 


RR 


导出 配置 文件 





基本 功能 配置 一 配置 前 检查 \ 
。 检 查 硬件 安装 

。 检 查 软件 安装 

。 检 查 初始 化 配置 结果 


。License 文件 
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。 检查 软件 安装 

o VIS6600T 侧 软 件 ，PC 机 安装 SM 并 成 功 发 现 设备 。 

o 服务 器 软件 ， 相 应 系统 的 SC3I 启 动 器 以 及 多 路 径 软件 。 
。 检查 初始 化 配置 结果 

o 维护 终端 与 YIS6600T 之 间 的 连接 

o 阵列 与 YIS6600T 之 间 的 连接 

o VIS6600T 与 应 用 服务 器 之 间 的 连接 
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基本 功能 配置 一 配置 存储 虚拟 化 


区 使 用 CHAP 认 证 米 保 i 
后 祭 。 iSCSI 连 扶 的 安全 性 时 ， 请 
执行 配置 CHAP 相 关 反 作 。 


4. 分 配 存储 空间 
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基本 功能 配置 一 配置 存储 虚拟 化 


。 扫 摘 逻 辑 盘 


加 OceanStor ISM 
事件 电大 助 (中 


总 所 有 设备 (1) 扫 和 罗 各 各 | 设置 仲秋 多 


国 vs.001 
渤 配 置 助手 
责 和 8 卫生 
六 9 村 
BE: | 
[3 

[Sas ,| A 妊 插 要 执行 肖 拓 入 扫 落 换 作 。 
的 设备 信息 该 拘 作 格 消 靳 一 这 系 纺 裕 源 ， 员 只 系统 整体 性 乱 。 
建议 ; 请 勿 频 紧 执 全 此 的 作 。 清 镁 在 业务 汉 信 时 执行 此 换 作 。 


YY 且 已 网 去 上 述 信息 ， 了 解 执行 此 涂 
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在 存储 资源 中 的 逻辑 盘 选 项 中 选择 扫描 逻辑 盘 


DD 216 


基本 功能 配置 一 配置 存储 虚拟 化 


。 配置 仲裁 盘 


在 进 厅 业务 本 策 愉 作 而 ， 余 须 先 所 秆 了 个 们 以 全 


未 三 侈 信息 
可 过 过 拭 全 


仇人 1 








[Cg | Ww Min 
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在 存储 资源 中 的 逻辑 盘 选 项 中 选择 设置 仲裁 盘 ， 仲 裁 盘 要 设置 3 个 。 
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基本 功能 配置 一 配置 存储 虚拟 化 


。 创建 逻辑 磁盘 组 


Stor ISM 
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在 映射 中 选择 逻辑 盘 组 选项 ， 再 点 击 创建 选择 所 需 的 逻辑 盘 加 入 到 新 创建 的 逻辑 盘 
组 中 。 
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基本 功能 配置 一 配置 存储 虚拟 化 \ 
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在 逻辑 盘 组 中 选择 已 经 创建 好 的 逻辑 盘 组 , “在 逻辑 盘 组 选项 中 点 击 卷 ， 再 选择 创建 ， 
在 创建 新 卷 时 可 以 设 定 卷 名 ， 卷 容量 和 卷 所 使 用 的 逻辑 盘 。 
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基本 功能 配置 一 配置 存储 虚拟 化 \ 


。 创建 主机 组 
二 OceanStor ISM 


和 所 有 设备 (1) 
国 Vis-001 

问 配置 助手 

区 不 名 配置 
地 映 肝 

力主 机 

人 Q 8 动 器 
鲜 逻 铝 名 粗 
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在 映射 选项 中 选择 主机 组 ， 并 点 击 创建 来 创建 新 的 主机 组 ， 创 建 主机 组 时 只 需要 设置 
主机 组 名 。 


0 2200 


基本 功能 配置 一 配置 存储 虚拟 化 \ 


。 添加 主机 








2 EE 职 滑 (C) 帮助 t) 
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在 映射 中 选择 主机 ， 点 击 创建 引出 创建 主机 指引 ， 根 据 指引 可 逐步 设置 主机 名 ， 主 机 
所 属 主机 组 ， 主 机 操作 系统 ， 主 机 的 FC 启动 器 或 CSI 启动 器 。 
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基本 功能 配置 一 配置 存储 虚拟 化 \ 


。 添加 映射 








LEE woNG wo Ca 
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在 映射 下 选择 主机 ， 选 择 需 要 添加 映射 的 服务 器 ， 点 击 卷 映射 后 选择 相应 的 卷 映 射 给 
主机 。 
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基本 功能 配置 一 配置 存储 虚拟 化 


。 添加 服务 器 启动 器 
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在 映射 下 选择 主机 ， 选 择 需 要 手动 配置 启动 器 的 主机 ， 点 击 配置 启动 器 ， 选 择 添加 ， 
在 列表 中 选择 服务 器 对 应 的 启动 器 添加 给 服务 器 。 
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基本 功能 配置 一 配置 增值 业务 NS 


配置 前 检查 
配置 镜像 


配 轩 完 下 空间 快照 
配置 虚拟 快照 
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VIS 增 值 业 务 包 含 : 镜像 ， 完 整 空间 快照 ， 虚 拟 快照 和 远程 复制 。 在 存储 虚拟 化 配置 完 
成 后 ， 可 以 根据 业务 需要 配置 相应 的 功能 % 


0 240 


基本 功能 配置 一 导出 配置 文件 


。 在 ISM 上 完成 配置 后 ， 请 导出 配置 文件 。 在 存储 系统 出 现 故 障 时 ， 可 以 
通过 配置 文件 进行 恢复 。 


导出 配置 文件 


您 可 以 导出 配置 数 洛 文件 到 客户 谊 。 下 囊 中 列 出 了 各 设备 默认 的 导出 文件 名 ,双击 可 编辑 。 


浏览 (@) 以 


和 | | 
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步骤 1: 进入 “导出 配置 文件 ”对 话 框 
在 导航 树 上 选择 “所 有 设备 > VIS6600T> 系统 配置 ”。 在 右 侧 的 信息 展示 区 的 “ 
导入 导出 ”区 域 单 击 “导出 配置 文件 ”。 

步骤 2 : 设置 配置 文件 的 保存 路 径 及 名 称 
单 击 “ 浏 览 ”。 在 “保存 位 置信 下 拉 列 表 中 选择 配置 文件 的 保存 路 径 。 或 者 在 “ 文 
件 夹 名 ”文本 框 中 输 义 配置 文件 的 保存 路 径 。 单 击 “ 保 存 ”。 

步骤 3 : (可 选 ) 修改 导出 的 配置 文件 名 称 
双击 设备 名 称 后 对 应 的 文件 名 称 ， 然 后 输入 新 的 文件 名 称 (扩展 名 为 .dat) 。 

步骤 4 : 保存 配置 文件 
单 击 “ 确 定 ”。 涿 统 弹 出 “提示 ”对 话 框 。 请 仔细 阅读 “提示 ”对 话 框 中 的 内 容 ， 
确认 后 单 击 “ 人 确定”。 系 统 弹 出 “执行 结果 ”对 话 框 ， 提 示 配 置 文 件 导 出 的 结果 。 
如 果 系 统 提示 操作 成 功 ， 在 选择 的 路 径 下 可 以 查看 文件 名 为 “*.dqt” 的 配置 数据 
。 如 果 系 统 提 示 保 存 失败 ， 重 新 输入 配置 文件 的 文件 名 再 进行 导出 操作 。 

步骤 5: 单 击 “ 关 闭 ”， 完 成 配置 文件 的 导出 。 
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基本 功能 配置 一 导出 配置 文件 


。 对 设备 的 所 有 设置 都 会 被 保存 在 系统 配置 文件 中 ， 配 置 文件 包括 逻 
辑 盘 组 、 卷 、iSCSsl 主 机 端口 |P 地 址 、FC 主 机 端口 速率 等 的 配置 信息 
， 一 旦 损坏 或 丢失 ， 会 造成 业务 中 断 甚至 数据 丢失 的 风险 。 
为 了 保证 系统 的 安全 性 和 可 靠 性 ， 在 对 设备 进行 了 初始 配置 或 郑重 
要 的 配置 更 改 后 ， 都 建议 对 配置 文件 进行 导出 保存 ， 以 便 在 款 贷 由 
于 客观 因素 或 人 为 因素 发 生 重大 故障 造成 配置 信息 失效 或 美 失 时 使 
用 备份 的 配置 文件 对 系统 进行 恢复 。 
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全 目录 ， 


存储 虚拟 化 简介 

存储 虚拟 化 技术 概述 

虚拟 化 存储 网 关系 统 介绍 

虚拟 化 存储 网 关系 统 安装 部 署 与 基本 业务 配置 
虚拟 化 存储 网 关系 统 高 级 业务 

5.1 快照 技术 及 应 用 

5.2 镜像 技术 及 应 用 

5.3 复制 技术 及 应 用 
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VIS6600T 产 品 完 整 空 间 快 照 功能 原理 . 


。 完整 空间 快照 技术 的 实现 原理 : 在 快照 时 间 点 到 来 时 ， 系 统 会 为 源 
数据 卷 分 配 一 个 大 小 完全 相同 的 物理 空间 作为 快照 卷 ， 并 启动 后 合 
数据 同步 ， 在 同步 数据 完成 后 ， 该 时 间 点 快照 创建 成 功 。 
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创建 一 个 跟 源 卷 大 小 一 致 的 卷 作为 快照 卷 ， 并 开始 后 台数 据 同步 。 

在 数据 同步 过 程 中 如 果 源 卷 有 新 数据 写 入 淮 写 入 的 数据 位 置 为 还 未 没有 同步 拷贝 的 内 
容 ， 则 将 原 数 据 写 入 到 快照 卷 中 ， 新 数据 写 入 源 卷 ， 保 持 源 卷 数据 为 最 新 状态 ; 如 与 
入 的 数据 位 置 为 同步 拷贝 完成 的 部 分 只 则 只 将 新 数据 与 入 源 卷 ; 快照 卷 数据 内 容 不 变 


在 数据 全 部 同步 完成 后 ， 快 照 卷 与 ?: 00 的 源 卷 数据 完 全 相同 ， 此 时 快照 结束 。 


VIS6600T 产 品 虚 拟 快照 功能 原理 \ 


源 资 源 数据 卷 每 小 时 一 次 的 自 
动 快照 





快照 资源 f 
旧 数 据 块 保存 在 快照 资源 区 





\ pS” 
AAA 一 一 











7 旧 数 据 块 保存 在 快照 蛤 源 区 
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在 VIS6600T 快 照 创 建 前 ， 数 据 写 入 动作 与 没 开启 快照 功能 的 VIS6600[ 一 样 : 对 数据 进 
行 修改 ， 会 直接 写 入 原 有 磁盘 区 块 对 原 有 数据 进行 覆盖 ， 原 有 数据 不 会 被 保留 。 

在 创建 虚拟 快照 之 前 ， 需 要 进行 虚拟 快照 的 相应 配置 ， 首 先 创 建 快照 资源 池 ，。 快 照 
资源 池 由 若干 资源 卷 组 成 ， 当 资源 池 中 的 容量 不 足以 支撑 时 ， 可 以 动态 的 向 资源 池 中 添加 
新 的 空间 。 推 荐 每 个 源 卷 用 一 个 快照 资源 池 ， 快 照 资源 池 的 空间 必须 为 本 磁盘 组 内 的 空间 
， 推 荐 为 同一 RAID 组 内 空间 ; 同时 需要 创建 DCO (Data Change Object) 用 来 记录 数 
据 改 变 位 图 、 快 照 资 源 池 数据 和 快照 之 间 的 映射 关系 等 。 

当 虚 拟 快照 被 创建 时 ,S 系 统 同 时 创建 一 个 映射 表 和 位 图 。 位 图 记录 数据 改变 块 的 位 置 
， 了 映射 表 记 录 了 源 卷 中 原 数据 和 其 物理 地 址 的 映射 关系 ， 而 快照 资源 池 将 用 于 保存 源 卷 各 
个 磁盘 区 块 在 快照 时 间 点 后 第 一 次 被 更 新 时 源 卷 相应 位 置 的 原 数据 ， 在 一 个 快照 周期 内 无 
论 再 对 原 磁 盘 区 块 的 数据 进行 怎样 的 更 新 ， 当 前 的 数据 均 不 再 被 保存 到 资源 池 ， 而 是 被 直 
接 覆 盖 。 
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虚拟 快照 相关 概念 
| | 


源 卷 
一 致 性 组 


用 作 创 建 快照 的 卷 被 称 之 为 源 卷 。 


i ， 需 要 作为 一 个 实体 进行 统一 管理 ， 这 个 实体 就 是 一 至 





DCO (Data 
hange Object) 
盘 /DCO 镜 像 盘 


上 水 位 


DCO 盘 和 DCO 镜 像 盘 用 于 创建 DCO。DCO 中 记录 的 是 映射 关系 改变 的 相关 位 图 
而 改变 的 数据 块 是 存储 在 对 应 的 Cache 中 。 通 过 DCO 中 的 映射 关系 ， 可 以 对 快照 
典 行 读 写 、 刷 新 、 回 滚 等 操作 。 


ICache 自 动 增长 的 水 位 ， 如 果 I/O 超 过 了 上 水 位 ， 则 Cache 将 自动 增长 。 





增值 粒度 


Cache 自 动 增长 的 大 小 。 





写 前 拷贝 


某 一 时 间 点 的 虚拟 快照 创建 并 激活 后 ， 当 有 数据 写 入 源 卷 时 2 首先 将 需要 更 新 数 
据 的 位 置 的 原 数据 移动 到 Cache 中 ， 同 时 映射 表 修改 映射 溯 系 ,记录 原 数据 的 新 
位 置 ， 然 后 再 将 新 数据 写 入 到 源 卷 中 。 此 过 程 即 为 写 前 拷贝 《Eopy-on-write) 技 








映射 表 


资源 池 


用 于 记录 数据 和 其 存储 的 物理 地 址 映射 关系 的 表 。 映 射 表 审 的 左 项 为 源 卷 中 数据 
的 地 址 ， 作 为 查找 键 值 ， 右 项 为 Cache 中 数据 的 地 址 8 


用 于 虚拟 快照 过 程 中 ， 保 存 源 卷 改变 数据 的 疗 储 空间 $ 由 一 个 或 多 个 普通 的 卷 组 
成 ， 这 类 卷 被 称 为 “资源 池 ”。 








Copyright © 2013 Huawei Technologies Co., Ltd. All rights d. 有 HUAWEI 





虚拟 快照 配置 流程 
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VIS6600T 产 品 快照 典型 组 网 与 连接 


同时 支持 FC、iSCSl， 以 FC 组 网 为 例 : 


Mb huawel 
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VIS6600T 产 品 快照 功能 应 用 规划 


。 DCO 规 划 
o 推荐 用 于 创建 DCO 的 DCO 盘 和 DCO 镜像 盘 分 别 来 源 于 不 同 的 阵列 


o DCO 盘 和 DCO 镜像 盘 基本 为 写 操作 ， 其 性 能 需求 比 对 应 的 源 卷 或 是 目 
标 卷 高 1 一 2 倍 ， 推 荐 来 源 于 写 性 能 好 的 RAID10 信 


。 _ Cache 规划 
o 公式 计算 
Cache 的 大 小 = 源 卷 在 虚拟 快照 刷新 周期 内 的 数据 变化 量 虚拟 快照 的 
个 数 * 120% 


o 推荐 值 
在 无 法 确定 数据 变化 量 的 情况 下 ， 推 荐 Cache 的 大 小 与 源 卷 相同 
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DCO 盘 和 DCO 镜 像 盘 是 指 用 来 存放 数据 更 改 对 象 的 逻辑 盘 。DCO 镜 像 盘 与 DCO 盘 互 
为 镜像 关系 。 

当 在 同一 个 逻辑 盘 组 中 创建 不 同 的 增值 业务 (虚拟 快照 、 完 成 空间 快照 和 镜像 ) 时 ， 推 
荐 使 用 同一 组 DCO 盘 和 DCO 镜 像 盘 。 

用 作 DCO 盘 和 DCO 镜 像 盘 的 逻辑 盘 需 要 设置 为 “不 保留 数据 ”的 逻辑 盘 。 

设置 DCO 时 ， 请 确认 至 少 有 2 个 空闲 逻辑 盘 。 


D0 233 


虚拟 快照 配置 参数 


。 创建 虚拟 快照 需 设置 DCO 和 
Cache 
DCO 盘 和 DCO 镜 像 盘 是 指 用 
来 存放 数据 更 改 对 象 的 逻辑 
盘 。DCO 镜 像 盘 与 DCO 盘 互 
为 镜像 关系 。 


Cache 用 于 存储 源 数据 相对 
于 某 个 时 间 点 的 变化 ， 同 一 
个 源 卷 的 所 有 虚拟 快照 共 
同一 个 Cache。 
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当 在 同一 个 逻辑 盘 组 中 创建 不 同 的 增值 业务 =( 虚 拟 快 照 、 完 整 空间 快照 和 镜像 ) 时 ， 
推荐 使 用 同一 组 DCO 盘 和 DCO 镜 像 盘 ,用 于 设置 DCO 的 2 个 逻辑 盘 在 加 入 逻辑 盘 组 时 ， 必 
须 设置 为 “不 保留 数据 ”的 逻辑 盘 。 

虚拟 快照 不 需要 源 卷 的 存储 空间 的 完整 副本 ， 而 是 使 用 Cache。 每 当 源 卷 的 原始 内 容 
将 要 被 覆盖 时 ， 会 在 执行 写 入 之 前 将 源 卷 中 的 原始 数据 复制 到 Cache 中 。 在 创建 虚拟 快照 
时 可 以 配置 该 Cache 的 大 小 ， 所 需 存 储 空 间 比 源 卷 少 得 多 。Cache 的 存储 空间 默认 可 以 
自动 增长 ， 当 Cache 的 存储 室 间 不 足 时 ， 可 以 使 用 逻辑 盘 组 中 任何 可 用 空闲 空间 自动 增加 
Cache 的 大 小 。 虚 拟 快照 提高 了 写 入 性 能 ， 并 且 需 要 的 存储 空间 也 较 少 。 

Cache 容 量 推荐 值 :、 源 卷 在 虚拟 快照 刷新 周期 内 的 数据 变化 量 * 虚 拟 快照 的 个 数 
*120 品 。 例 如 ， 为 源 卷 dafayol 创 建 了 7 个 虚拟 快照 ， 虚 拟 快照 的 定时 刷新 策略 为 每 天 刷新 

一 次 ， 则 Cache 容 量 为 : “datavol| 一 天 内 的 数据 变化 量 *7*120%。 
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设置 DCO ， 


源 卷 和 DCO 盘 要 配置 在 同一 个 RAID 姐 中 。 
远 辑 盘 信息 
可 选 膛 辑 优 


总 数 :7 选中 数 :0 选中 数 :0 
逐 辑 盘 总 容量 | 总 逐 辑 盘 

huasy-s6800t0_7 10.006G8B 三 以 
huasys6800t0_13 5.00GB 
huaweis2600-0_7 1.006B 
huawei-s2600-0_8 1.00GB DCO 镜 便 盘 
huaweis2600-0_9 1.00GB 总 数 :0 选中 数 :0 
huaweis2600-0_ 1.00GB 


huawei-s2600-0_ 1.00GB 
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从 可 选 逻 辑 盘 列表 中 选择 相同 大 小 的 两 个 盘 分 别 放置 在 DCO 盘 和 DCO 镜 像 盘 选项 下 


pa 
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设置 Cache ， 


Cache 信 息 





Cache 大 小 





远 辑 盘 信 息 

总 数 :7 选中 数 -0 尼 请 输入 关键 子 

别名 名 称 惠 余 容量 列 余 容量 总 容量 总 容量 {S.。 法 

huasy-s680... huasy-s680 10.00GB 20971520 10.00GB 20971520 二 
huasy-s680... huasy-s680 5.00GB 10485760 5.00GB 10485760 
huawei-s26... huawei-s26 1.00GB 2097152 1.00GB 2097152 
huaweli-s26... huawel-s26 1.00GB 2097152 1.00GB 2097452 a | 
huawei-s26... huawei-s26 1.00GB 2097152 1.00GB 2097152 SN 
huaweiS26.，huawehs26 1.00GB 2097152 1.00GB 2097152 


4 
huawei-s26,.. huawei-s26 1.00GB 2097152 1.00GB 2097152 


和 








Co Wo | Wt 
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Cache 用 于 存储 源 数 据 相对 于 某 个 时 间 点 的 变化 ， 同 一 个 源 卷 的 所 有 虚拟 快照 共用 同 
一 个 Cache。 

Cache 容 量 推荐 值 : 源 卷 在 虚拟 快照 刷新 周期 内 的 数据 变化 量 * 虚 拟 快照 的 个 数 
*120 品 。 例 如 ， 为 源 卷 dafavol 创 建 了 7 个 虚拟 快照 ， 虚 拟 快照 的 定时 刷新 策略 为 每 天 刷新 
一 次 ， 则 Cache 容 量 为 : datavyol 一 天 内 的 数据 变化 量 *7*120 史 。 
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VIS6600T 产 品 快照 功能 应 用 \ 


。 场景 一 : 快照 数据 用 于 并 行 
处 理 
o 在 几乎 不 影响 源 卷 业务 的 情 
况 下 生成 源 卷 数据 的 快照 
o 同一 源 卷 可 以 生成 多 份 快照 
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VIS6600T 产 品 快照 功能 应 用 


。 场景 二 : 持续 数据 保护 
o 实现 对 数据 卷 的 持续 保护 ， 
能 恢复 到 指定 的 时 间 点 的 数 
据 。 
o 虚拟 快照 仅 保存 变化 数据 ， 
最 大 限度 减少 存储 空间 占用 





央 | WS 
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VIS6600T 镜 像 原 理 


。 VIS6600T 可 以 将 不 同 的 逻辑 
盘 建 立 镜像 关系 ,镜像 关系 
建立 后 ， 源 数据 阵列 的 数据 
会 自动 同步 到 镜像 阵列 中 ， 


主机 下 发 的 IO 也 会 同时 写 到 
源 阵列 和 镜像 阵列 的 逻辑 盘 
中 ， 保 证 数据 一 致 性 。 
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DCO (Data 


Change Object) 和 镜像 逻辑 盘 ， 当 源 卷 故障 时 ， 则 从 源 卷 故障 时 刻 开始 ， 与 卷 关 联 的 DCO 会 通过 


盘 /DCO 镜 像 盘 


描述 
迄 像 特性 通过 数据 副本 提供 数据 人 见 余 。 每 个 副本 (或 镜像 ) 都 存储 在 与 此 卷 不 同 
的 逻辑 盘 上 。 对 一 个 卷 创建 镜像 后 ， 可 确保 在 组 成 镜像 的 任意 一 方 发 生 故 障 时 ， 
其 数据 不 会 丢失 ， 提 高 了 数据 的 完整 性 和 可 靠 性 。 
用 于 创建 镜像 的 卷 。 


用 于 与 源 卷 创建 镜像 关系 ， 与 源 卷 保存 同样 的 数据 ， 容 量 必须 大 于 等 于 源 卷 >》 推 
荐 源 卷 与 镜像 逻辑 盘 分 别 来 源 于 不 同 的 存储 设备 ， 且 源 卷 与 镜像 逻辑 盘 ID 
(Redundant Array of Independent Disks) 级 别 相同 。 


DCO 盘 和 DCO 镜 像 盘 用 于 创建 DCO。DCO 用 于 管理 快速 重 同步 的 映射 信息 ， 
与 某 个 卷 关联 ， 则 可 以 对 该 卷 使 用 快速 重 同 步 功能 。 例 如 : 互 为 镜像 关系 的 源 卷 


立 图 的 方式 记录 镜像 逻辑 盘 的 修改 数据 。 当 源 卷 修复 后 急 源 卷 下 以 根据 DCO 记 录 
的 差异 信息 同步 镜像 逻辑 盘 中 修改 的 数据 ， 这 样 可 以 达到 快速 重 同步 的 效果 。 





轮 循 模式 : 非 连续 空间 的 MO， 以 轮流 循环 方式 将 读 访问 请 求 下 发 到 不 同 的 存储 
空间 ， 实 现存 储 空间 的 并 发 响应 ， 提 升 系统 性 能 。 

优先 模式 : 即 主 备 模式 ， 所 有 的 读 访问 l/O 请 求 都 默认 下 发 给 优先 的 存储 空间 响 
应 ， 当 优先 宝 间 故障 时 才 下 发 给 备 选 存 储 空间 ， 族 障 修复 后 切换 回 优先 空间 。 
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。 读 策 略 : 
oO 优先 :首先 从 已 命名 为 prefer 的 plex 中 读 取 。 
o 轮 循 :对 检测 到 的 读 VO ， 以 “循环 A (round-robin) 模式 依次 读 取 每 个 plex。 


D0 242 


镜像 同步 、 
。 镜像 同步 过 程 中 ， 下 发 /O 的 处 理 

需要 同步 的 数据 

未 同步 的 数据 | 2 个 plex 同 时 下 发 YO ， 确 保 数 据 一 致 性 


已 同步 的 数据 | 2 个 plex 同 时 下 发 VO ， 确 保 数 据 方 致 性 
一 ww | 等 同步 完成 后 ，2 个 plex 同 时 下 发 To， 确 
正在 同步 的 数据 保 数 据 一 致 性 
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镜像 配置 流程 








VIS6600T 镜 像 功 能 应 用 规划 \ 


。 数据 卷 
o 源 卷 : 一 般 来 自 客户 现 有 系统 中 应 用 的 LUN; 


o 镜像 卷 : 空间 来 自 镜像 用 阵列 ， 和 源 盘 不 在 同一 个 阵列 ; 大 于 或 等 于 源 盘 的 容量 
， 精 确 粒度 为 sector; 性 能 高 于 或 等 于 源 盘 。 


。 DCO 人 


o 源 DCO: 推荐 和 数据 卷 的 源 盘 来 自 同一 个 阵列 ; 
o 镜像 DCO: 和 数据 卷 的 镜像 盘 来 自 同一 个 阵列 ， 不 能 和 源 DCO 盘 在 同 富 个 阵列 上 


。 数据 盘 读 策略 
o 本 地 镜像 : 轮 询 ( 缺 省 ) ; 
o 同城 镜像 : 优先 
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优先 :首先 从 已 命名 为 prefer 的 plex 中 读 取 . 

轮 循 :对 检测 到 的 读 VO ， 以 “循环 ” (rounid-robin) 模式 依次 读 取 每 个 plex. 
一 组 镜像 中 ， 源 DCO 和 和 镜像 DCO 配 置 大 小 推荐 值 均 为 1G; 如 有 多 组 镜像 ， 则 相应 增 
加 。 
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创建 镜像 


。 选择 源 数 据 卷 后 选择 镜像 逻 
辑 盘 
o 镜像 逻辑 盘 容量 必须 大 于 等 
于 源 卷 的 容量 。 
o 创建 镜像 成 功 后 ， 可 以 在 “ 
镜像 管理 ”对 话 框 中 查看 新 
创建 的 镜像 的 信息 。 


源 乔 值 息 
进 缉 双 相 


大 名 称 : volume003 


选 乔 镇 全 逻辑 盆 
总监 3 
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取消 (C) 


设置 DCO(S) 


帮助 (dH) 


Mb huawel 








设置 DCO ， 


。 DCO 用 于 管理 快速 重 同步 的 映射 信息 ， 与 某 个 卷 关 联 ， 则 可 以 对 该 卷 使 用 
快速 重 同步 功能 。 


设置 DCO 孙 加 盘 x 


源 卷 和 DCO 鳃 要 配置 在 同一 个 RD 组 中 。 
进 辐 全 信息 


X 








Ee 职 消 {C) 帮助 (H) 
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DCO 的 作用 是 记录 镜像 关系 的 数据 差异 。 逻 辑 盘 A 与 逻辑 盘 B 为 镜像 关系 ， 当 逻辑 盘 A 
故障 时 ， 则 从 逻辑 盘 A 故 障 时 刻 开 始 ， 作 为 DGO 的 逻辑 盘 就 会 通过 位 图 的 方式 记录 逻辑 盘 
B 的 修改 数据 。 当 逻辑 盘 人 修复 后 ， 逻 辑 盘 人 可 以 根据 DCO 记 录 的 差异 信息 同步 逻辑 盘 B 中 
修改 的 数据 ， 这 样 可 以 达到 快速 重 同步 的 效果 。 

当 在 同一 个 逻辑 盘 组 中 创建 不 同 的 增值 业务 (虚拟 快照 、 完 整 空间 快照 和 镜像 ) 时 ， 
推荐 使 用 同一 组 DCO 盘 和 DCGO 镜 像 盘 

用 于 设置 DCO 的 2 个 逻 g 辑 盘 在 书信 进 罗 辑 盘 组 时 ， 必 须 设置 为 “不 保留 数据 ”的 逻辑 盘 
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为 满足 镜像 的 不 同 应 用 场景 的 最 佳 访 问 性 能 和 需求， 数据 读 访问 策略 支持 : 


9) 就 循 模 动 
非 连 续 空 间 的 I0 ,以 轮流 循环 方式 将 读 访问 请 求 下 发 到 不 同 的 存储 空间 ,实现 存储 空间 的 并 发 响应 ， 提 升 系统 
性 能 ， 


忧 先 模式 
即 主 备 模式 ， 所 有 的 读 访问 IO 请 求 都 默认 下 发 给 忧 先 的 存储 空间 响应 ， 当 优先 空间 故障 时 才 下 发 给 备 选 存储 至 
间 ， 优先 控制 的 故障 修复 后 切换 回 忧 先 空间 。 


总 数 -2 选中 数 :0 卫 请 入 入 关 津 于 RR 
镜 沽 名 称 读 策 S 


volume002-01 


volume002-02 





。 轮 循 模式 : 非 连 续 空间 的 |/O， 以 轮流 循环 方式 将 读 访 问 请 求 下 发 到 不 同 的 存储 空间 ， 
实现 存储 空间 的 并 发 响应 ， 提 升 系统 性 能 在 镜像 创建 成 功 后 ， 镜 像 的 读 策 略 缺 省 为 轮 
循 模式 。 

。 优先 模式 : 即 主 备 模式 ， 所 有 的 读 访问 /DO 请 求 都 默认 下 发 给 优先 的 存储 空间 响应 ， 当 
优先 空间 故障 时 才 下 发 给 备 选 存储 室 间 ， 优 先 控 制 的 故障 修复 后 切换 回 优 先 空间 。 
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VIS6600T 镜 像 功 能 应 用 


。 镜像 功能 应 用 
o 在 不 中 断 业 务 的 情况 
移 过 程 新 数据 不 丢失 
o 数据 实时 备份 


f 
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VIS6600T 异 步 复 制 原理 \ 


。 复制 原理 图 


给 灾 备 中 心 端 发 出 
* 圭 














日 志 卷 生产 卷 。 / \~ 《Bs 复制 郑 


灾 备 中 心 
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异步 远程 复制 ， 生 产 中 心 写 入 数据 后 直接 反馈 主机 写 完成 ， 生 产 中 心 到 灾 备 中 心 的 写 
入 操作 后 续 完成 ， 因 而 灾 备 中 心 和 生产 中 心 的 数据 存在 一 定 的 时 延 。 
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远程 复制 相关 概念 : 


EE | 


复制 一 致 性 组 |YIS6600T 的 远程 复制 解决 方案 是 通过 复制 一 致 性 组 实现 的 。 逻 辑 盘 组 中 需要 配置 异地 容 灾 的 卷 组 ， 这 
些 卷 组 由 一 个 或 多 个 相关 卷 组 成 ， 可 以 同时 复制 到 灾 备 中 心 ， 实 现 数据 备份 ， 例 如 数据 库 。 


每 个 复制 一 致 性 组 的 数据 复制 地 址 。 生 产 中 心 和 灾 备 中 心 应 该 各 自 有 一 个 唯一 的 虚拟 P 地 址 ， 且 能 相 
虚拟 |P 地 址 “| 到 通信 。 


数据 卷 ” 许 生 产 中 心 用 于 存储 应 用 数据 ， 是 需要 通过 复制 一 致 组 特性 创建 异地 容 灾 的 卷 。 
复制 卷 ”| 在 灾 备 中 心 用 于 存储 应 用 数据 副本 的 卷 。 








逢 制 一 致 性 组 数据 写 入 缓冲 区 ， 该 缓冲 区 具有 循环 写 入 的 功能 。 用 于 跟踪 记录 复制 一 臻 组 息 每 个 数据 
日 志 卷 。” 洋 的 数据 写 入 顺序 的 卷 ， 每 次 数据 依次 写 入 日 志 卷 和 数据 卷 。 为 提高 数据 的 写 入 性 能 , 健 议 将 数据 卷 
和 和 日 志 卷 创建 在 不 同 的 物理 硬盘 上 。 每 个 复制 一 致 性 组 均 需 配置 一 个 日 志 卷 。 





许 称 为 Data Change Map ， 当 日 志 卷 溢出 时 ， 跟 踪 生产 中 心 的 数据 卷 写 信 烦 序 的 着 ， 由 DCM 卷 和 
[DCM 镜像 卷 组 成 。 当 生产 中 心 和 灾 备 中 心 的 链 路 恢复 正常 时 ， 将 生产 中 意 未 复制 到 灾 备 中 心 的 数据 
| 重新 同步 到 灾 备 中 心 。 


入江 到 行 的 环境 。 在 相册 一 要 性 四 中 生 7 中心 的 VSS 天 后 出 到 各 中 心 ， 形 忆 
数据 副本 。 


业务 系统 日 常备 用 的 环境 。 正 常情 况 下 ， 灾 备 中 心 的 VIS6600T 实 时 将 来 自生 产 中 心 的 数据 写 入 到 本 地 
和 让 各 二 时 区 四 机 吕 和 外 于 村 晶 。 入 区 中 轩 局 用 这 了 肝 舍 ， 坏 计 半 全 




















(~ 
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容 灾 切换 

当 生 产 中 心 需要 计划 内 维护 时 ， 可 以 在 生 彰 中 心 启用 容 灾 切换 功能 ， 将 业务 系统 切换 
到 灾 备 中 心 ， 确 保 业 务 连续 性 。 

灾 备 接管 

当 生 产 中 心 出 现 无 法 恢复 的 故障 时 ， 可 以 在 灾 备 中 心 启用 灾 备 接管 功能 ， 将 业务 系统 
接管 到 灾 备 中 心 ， 确 保 业 务 连续 性 。 

灾 备 回 切 

当 生产 中 心 恢复 后 ， 可 以 在 灾 备 中 心 启 用 灾 备 回 切 功能 ， 将 灾 备 接管 期 间 产生 的 新 数 
据 复制 到 生产 中 心 。 
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VIS6600T 复 制 原 理 - 复 制 组 术语 介绍 


。 SRL (Storage Replicator Log) : 生产 灾 备 中 心 都 需要 创建 ， 用 于 保 
证 生产 的 数据 按照 主机 下 发 VO 的 顺序 复制 到 灾 备 ， 保 证 数据 一 致 性 


。 DCM (Data Change Map): 每 个 复制 数据 卷 都 需要 关联 ， 通 常 > 


为 镜像 的 两 个 LUN; DCM 主 要 用 于 SRL 溢 出 后 记录 生产 和 灾 备 数据 变 
化 ， 在 恢复 复制 时 避免 采用 全 同步 ; 

。 RVG(Replicated Volume Group): 复 制 卷 组 是 给 定 VxVM[ 磁 盘 组 内 为 复 
制 配 置 的 卷 组 。RVG 始终 是 VxVM 磁盘 组 的 子 集 。 可 以 将 磁盘 组 中 
的 一 个 或 多 个 相关 卷 配 置 为 RVG。 相 关 卷 是 指 一 组 必须 在 辅助 节点 
上 将 应 用 程序 写 入 按 序 复 制 到 其 中 的 卷 。 
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日 志 卷 工作 原理 


。 SRL 日 志 卷 是 复制 一 
致 性 组 中 特有 的 技 
术 ， 它 保障 了 数据 
复制 的 一 致 性 ， 同 
时 ， 当 复制 链 路 故 
障 时 ， 可 以 暂时 存 
储 业务 系 统 新 增 的 
数据 。 复 制 一 致 性 
组 日 志 卷 技术 的 原 
理 如 图 所 示 。 
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当 第 1 个 写 MO 达 到 队列 ， 日 志 卷 从 开始 处 开始 记录 。 接 着 第 2 个 MO， 第 3 个 MO,， 直 至 
第 N 个 MO 与 到 了 日 志 卷 的 最 末端 。 当 N+ 个 I/ 思 到 达 时 ， 将 重新 从 日 志 卷 的 开始 处 重新 记 
录 。 写 入 日 志 卷 的 |/O 〇 将 按照 日 志 卷 记录 的 顺序 ， 将 其 写 入 到 生产 中 心 和 灾 备 中 心 的 数据 
卷 中 存储 。 当 生产 中 心 收 到 灾 备 中 心 发 来 的 写 I/O 〇 收 到 的 确认 信息 后 ，VIS6600T 在 日 志 卷 
中 将 该 写 MO 的 状态 标记 为 完成 ， 实 现 生 产 中 心 和 灾 备 中 心 数据 的 一 致 性 的 同时 ， 将 该 MO 
从 日 志 卷 中 清除 ， 将 该 MO 暂 用 的 日 志 卷 空间 留 给 后 达到 的 MO ， 从 而 实现 了 日 志 卷 空间 的 
循环 使 用 。 
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VIS6600T 产 品 复制 功能 关键 技术 


。 IO 级 复制 
o VIS 的 复制 是 基于 IO 的 复制 ， 是 粒度 最 小 的 复制 ， 并 且 严 格 按照 生产 中 
心 主 机 下 发 的 IO 顺序 将 IO 写 到 灾 备 中 心 。 在 发 生 灾难 时 ， 可 以 保证 丢失 
的 数据 量 最 小 。 Q 
。 支持 多 灾 备 中 心 
o VIS 既 可 以 支持 多 对 一 的 复制 ， 也 支持 一 对 多 的 复制 ， 最 大 可 支持 31 个 
灾 备 中 心 ， 即 生产 中 心 可 以 同时 向 31 个 灾 备 中 心 进行 复制 澡 最 大 程度 地 
保证 数据 的 安全 。 
。 高 扩展 性 
o VIS 的 复制 节点 数 支持 在 线 扩展 ， 可 以 在 不 影响 现 有 业务 地 情况 下 ， 对 
节点 数 进行 扩展 以 提升 VIS 的 处 理 能 力 。 
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VIS6600T 产 品 复制 典型 组 网 与 连接 


。 复制 典型 组 网 


Linux Unix Windows 
“33 
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在 生产 中 心 和 灾 备 中 心 分 别 部 署 两 套 阵 列 , 阵列 间 通 过 IP 网 络 连 接 ， 生 产 中心 和 灾 备 
中 心 都 需要 配置 日 志 卷 和 数据 卷 。 
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远程 复制 配置 参数 


。 日 志 卷 
o 用 于 存储 所 有 应 用 程序 写 入 的 卷 ， 是 复制 一 致 性 组 的 循环 写 入 缓冲 区 。 每 次 对 生 
产 中 心 的 写 入 都 生成 两 次 写 入 : 其 中 一 次 写 入 将 写 入 到 日 志 卷 ， 而 另 一 次 写 入 则 
写 入 到 数据 卷 。 因 此 ， 必 须 在 不 同 的 物理 硬盘 上 配置 数据 卷 和 日 志 卷 ， 以 便 提 高 
写 入 性 能 ， 且 日 志 卷 的 大 小 至 少 是 110MB。 以 
e。 DCM 
o DCM 用 于 在 日 志 卷 溢出 时 跟踪 写 入 操作 ， 这 样 可 避免 对 灾 备 中 心 上 的 数据 完全 
重新 进行 同步 。 请 选择 2 个 逻辑 盘 用 作 DCM。 
。 虚拟 iP 地 址 
o 对 于 每 个 复制 卷 组 ， 生 产 中心 和 灾 备 中 心 应 该 各 自 有 一 个 叭 的 虚拟 IP 地 址 用 于 
建立 连接 。 更 改 生产 中 心 或 灾 备 中 心 的 虚拟 IP 地 址 需要 暂停 复制 。 


DY 
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远程 复制 配置 参数 -日 志和 


。 日志 卷 
o 日 志 卷 中 包括 了 若干 数据 包 (默认 为 8400Byte) 和 其 对 应 的 头 信 
息 (默认 为 512Byte) ， 为 确保 日 志 卷 的 安全 ， 建 议 在 创建 日 志 
卷 时 ， 使 用 与 创建 数据 卷 不 同 的 硬盘 创建 日 志 卷 。 日 志 卷 不 仅 需 


要 跟踪 生产 中 心 应 用 数据 的 写 入 顺序 ， 还 要 用 于 保存 异步 复制 链 
路 断 网 (包括 远程 设备 下 电 ) 期 间 主 机 下 发 的 新 数据 ,以 便 在 异 
步 复 制 链 路 恢复 时 ， 将 数据 从 日 志 卷 中 复制 到 灾 备 中 心 。 因 此 日 
志 卷 大 小 的 设置 可 以 根据 数据 卷 的 数据 更 新 量 和 容 灾 网 络 允 许 的 
最 大 断 网 时 间 两 个 方面 进行 规划 。 
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。 大 多 数 业务 有 一 个 繁忙 时 间 段 ， 其 他 时 间 的 业务 速率 不 及 繁忙 时 间 的 10%。 同 时 ， 由 于 
大 多 数 业务 以 天 为 单位 ， 每 天 业务 相差 不 厂 ， 并 人 允许 以 天 为 单位 的 断 网 时 间 。 
。 日 志 卷 容 量 大 小 的 计算 的 两 种 公式 如 下 : 
o 根据 复制 一 致 性 组 的 数据 更 新 量 日 志 卷 大 小 > (繁忙 业务 时 间 + 空闲 业务 时 间 / 
10) * 峰值 写 业 务 速率 *(1 512/ 8400) 
o 根据 允许 断 网 天 数 : 日 志 卷 大 小 > 7* 复制 一 致 性 组 每 天 的 数据 变化 量 * (1 + 512 
/ 8400) 或 日 志 卷 大 小 兮 最 大 允许 断 网 天 数 * 复制 一 致 性 组 每 天 的 数据 变化 量 * (1 
+ 512 / 8400) 
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远程 复制 配置 参数 -DCM 


e DCM 


o 用 于 创建 DCM 的 2 个 逻辑 盘 大 小 相同 ， 且 用 属于 不 同 的 RAID 组 的 逻辑 盘 
。 如 果 有 多 人 台 存 储 阵列 ， 推 荐 用 作 DCM 的 2 个 逻辑 盘 来 源 于 不 同 的 存储 
阵列 。 如 果 只 有 一 人 台 存 储 阵列 ， 推 荐 用 作 DCM 的 2 个 逻辑 盘 来 源 于 不 同 
的 硬盘 ~ 
用 作 DCM 的 2 个 逻辑 盘 的 容量 大 小 要 大 于 创建 DCM 所 需 的 容量 4 DCM 的 
大 小 取决 于 数据 卷 的 大 小 ，DCM 默 认 大 小 为 4XB~256KB 和 但 也 可 以 指 
定 DCM 最 大 为 2MB。 有 目前 推荐 创建 DCM 使 用 默认 大 小 总 并 推荐 在 一 个 
逻辑 盘 组 中 仅 创 建 一 个 复制 一 致 性 组 ， 一 个 复制 一 致 性 组 中 最 多 包含 
128 个 数据 卷 ， 则 DCM 容 量 大 小 = 128* 256KB = 32MBS 
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远程 复制 配置 参数 -iSCSI 主机 端口 ， 


iSCSI 主机 端口 用 于 建立 生产 中 心 和 灾 备 中 心 之 间 的 复制 
链 路 ， 在 生产 中 心 和 灾 备 中 心 均 需 配置 ， 规 划 的 项 目 包 
括 复制 端口 、 复 制 端口 是 否 需要 绑 定 、 


址 等 。 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 


端口 : 用 于 数据 复制 的 SCSl 主 机 端口 , ,例如 PO。 

是 否 绑 定 端口 : 为 增加 数据 复制 传输 带宽 淮 将 多 个 iSCSI 主 机 端口 绑 定 在 一 起 ， 共 同 提 
供 数 据 复制 通道 。 

IP 地 址 : 设置 在 iSCSI 主机 端口 上 ， 用 手数 据 复制 的 |P 地 址 ， 绑 定 的 端口 共同 使 用 同一 个 
IP 地 址 ， 例 如 11.11.11.10。 
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复制 状态 切换 \ 


初始 同步 复制 一 致 性 组 在 第 一 次 进行 同步 操作 时 ， 数 据 状 态 
为 初始 同步 中 ， 此 时 灾 备 中 心 的 数据 是 不 可 用 的 。 


复制 一 致 性 组 在 进行 复制 操作 时 ， 数 据 状态 为 复制 
状态 ， 此 时 灾 备 中 心 的 数据 是 不 可 用 的 。 


复制 一 致 性 组 出 现 故障 导致 日 志 卷 溢出 ， 数 据 状态 
为 溢出 状态 ， 此 时 灾 备 中 心 的 数据 与 生产 中 心 的 数 
据 是 不 一 致 性 的 。 如 果 生 产 中 心 无 法 快速 恢复 ， 灾 
备 中 心 可 以 接管 业务 ， 但 存在 数据 丢失 的 风险 。 


制 一 致 性 组 故障 恢复 后 ， 启 用 了 DCM 重 同步 ， 数 

状态 为 重 同 步 ， 此 时 灾 备 中 心 的 数据 是 不 可 用 的 。 

复制 一 致 性 组 在 生产 中 心 和 灾 备 中 心 之 间 的 数据 完 
全 一 致 ， 数 据 状态 为 停止 。 





























DN 
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当 灾 难 发 生 时 ， 复 制 一 致 性 组 需要 根据 生产 申 心 和 灾 备 中 心 的 数据 状态 判别 是 否 人 允许 
进行 灾 备 切换 。 
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VIS6600T 产 品 复制 功能 应 用 


。 方案 特点 
o 节约 带宽 
o 存储 整合 
o 不 影响 主机 性 能 
o 统一 容 灾 
o 高 可 靠 性 





四 多 huawel 
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@ 思考 题 


1. 存储 虚拟 化 有 哪些 分 类 及 层次 ? 
2. VIS 的 安装 配置 流程 是 什么 ? 
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加 总 结 


。 存储 虚拟 化 的 概念 及 其 价值 
。 存储 虚拟 化 技术 实现 方式 及 其 优 缺 点 


虚拟 化 存储 网 关系 统 产 品 和 应 用 场景 Q 
虚拟 化 存储 网 关系 统 产 品 的 软 硬 件 组 成 和 典型 组 网 规划 


虚拟 化 存储 网 关系 统 产品 的 基本 业务 配置 和 操作 
虚拟 化 存储 网 关系 统 高 级 业务 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. i HUAWEI 





0D 265 0 


@ 习题 


。 判断 题 
1. RAID2.0 是 属于 基于 主机 层 的 虚拟 化 技术 。 (Tof 日 
。 ”多 选 题 
1.， 存储 虚拟 化 按 实现 方式 分 可 以 分 为 ?> ( 。 ) 
A. 带 内 虚拟 化 


B. 带 外 虚拟 化 
C. 网 络 虚 拟 化 
D. 块 虚拟 化 
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术语 表 (1) \ 


。° Plex 


o A plexisa logical grouping of subdisks that creates an area of disk space independent of 
physical disk size or other restrictions. Mirroring is set up by creating multiple data plexes for a 


single volume. Each data plex in a mirrored volume contains an identical copy of the volume 


data. 


e。 subdisk X 


o A consecutive set of contiguous disk blocks that form a logical disk segment. 
o Subdisks can be associated with plexes to form volumes. 
e。 DCO (data change object) 


o AVxVM object thatis used to manage information about the FastResync maps in the DCO 
volume. Both a DCO object and a DCO volume must be associated withaYolume to implement 


Persistent FastResync on that volume. 
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。 Plex 是 子 磁盘 的 逻辑 分 组 ， 用 于 创建 不 受 物理 磁盘 大 小 或 其 他 限制 约束 的 磁盘 空间 区 
域 。 可 通过 为 单个 卷 创建 多 个 数据 plex 来 设置 镜像 。 镜 像 卷 中 的 每 个 数据 Plex 都 包含 
卷 数 据 的 相同 副本 。 还 可 以 创建 Plex 来 表示 连续 、 条 带 式 和 RAID-5 卷 布 局 以 及 存储 卷 
日 志 。 

。 SUbdisk ( 子 磁盘 ) 形成 逻辑 磁盘 区 段 的 一 组 连续 的 磁盘 块 。 子 磁盘 可 与 plex 关联 以 
形成 卷 。 


。 DCO (数据 更 改 对 象 )s 下 个 VxVM 对 象 ， 用 于 管理 有 关 DCO 卷 中 快速 重 同 步 映射 的 
信息 。 必 须 同时 将 DCO 对 象 和 DCO 卷 与 某 个 卷 关联 才能 在 此 卷 上 实现 持久 性 快速 重 


同步 。 
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术语 表 (2) \ 


e。 VxVM 


o Veritas Volume Manager by Symantec is a storage management subsystem that 


allows you to manage physical disks as logical devices called volumes. 


。 Volume 


o A virtualdisk, representing an addressable range of disk blocks used by X 


applications such as file systems or databases. A volume is a collection6ffrom one 


to 32 plexes. 
e。 DCM (Data Change Map) 


o An object containinga bitmap that can be optionally associated with a data 
volume on the Primary RVG. The bits represent regions of (datalthat are different 
between the Primary and the Secondary. The bitmap isiusediduring synchronization 


and resynchronization. 
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。 Veritas Volume Manager (VxVM) 是 一 个 存储 管理 子 系统 ， 使 用 该 系统 可 将 物理 磁盘 
作为 一 种 称 为 “ 卷 ” 的 逻辑 设备 进行 管理 。 


。 Volume ( 卷 ) 即 虚拟 磁盘 ， 表 示 由 文件 系统 或 数据 库 等 应 用 程序 使 用 的 可 寻 址 磁盘 块 
范围 。 卷 是 由 1-32 个 plex 组 成 的 集合 

。 DCM (Data Change Mqp， 数 据 更 改 映射 ): 一 个 包含 位 映射 的 对 象 ， 可 选择 将 该 
对 象 与 主 节点 RVG 中 的 数据 卷 关联 。 位 表示 主 节点 和 辅助 节点 之 间 的 不 同 数据 区 域 。 
位 映射 在 同步 和 重新 同步 过 程 中 使 用 。 
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目标 


。 学 完 本 课程 后 ， 您 将 能 
o 掌握 存储 与 UNIX 主 机 的 连接 
o 掌握 UltraPath 多 路 径 部 署 与 管理 
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图 目录 


1， 存储 与 UNIX 主 机 连接 
1.1 AIX 平 台 与 存储 连接 
1.2 Solaris 平 台 与 存储 连接 
1.3 HP-UX 平 台 与 存储 连接 

路 径 部 署 与 管理 


径 故 障 处 理 
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AIX 系 统 IP-SAN 连 接 常 用 命令 \ 


# lsdev -Ccif ”检查 系统 网 卡 信息 

# ifconfig -Q 检查 网 卡 IP 信 息 

# smitty chinet 修改 网 卡 IP 地 址 

# Islpp -|*iscsi* ”检查 iscsi inititgtor 软 件 是 否 可 用 
# smitty device ”修改 initiatorname 


# 编辑 /etc/iscsi/targets 添 加 目标 器 
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系统 管理 界面 工具 : SMIT-SYSTEM MANAGEMENT INTERFACE TOOL，AIX 提 供 图 形 
用 户 界 面 的 SMIT 管 理工 具 ， 帮 助 用 户 进行 外 设 、 终端 、 备份、 安全 性 、 安 装 及 管理 等 工作 
， 具 有 菜单 驱动 ， 联 机 帮助 、 功 能 扩展 、 支 持 MOTIF 界 面 技 术 、 以 及 分 布 式 平台 等 特性 。 

AIX 的 initiator 软 件 是 默认 已 经 在 系统 中 安装 好 的 ， 如 果 没 有 安装 请 参考 AIX 的 材料 进 
本 安装 。 

修改 initiaforname 时 ， 输 和 smitty device 光 标 移 动 到 选择 “iscsi” ， 回 车 确认 后 

选择 “iscsi protocal deyice> ,确认 后 再 选择 “Change / Show Characteristics of 
an iSCSI Protocol Device” ， 然 后 选择 可 用 的 inifiator 设 备 ， 最 后 在 iSCSI Inifiafor 
Name 条 目 中 输入 initiGtorname 回 车 确认 即 可 。 


vi /etc/iscsi/targets 添 加 如 下 一 行 


EA 


192.168. 玉 10 3260 igqn.1995-03.com.gquantun:cx0853gkr02101-epl 
其 中 : 
192.168.1.10 为 阵列 的 iscsi 端 口 ip 地 址 。 


3260 为 iscsi 连 接 的 端口 。 
igqn.1995-03.com.quqntun:cx0853qgkr02101-ep1 为 阵列 端口 的 targetname， 
个 字段 需要 提前 获取 。 


fx 
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AIX 系 统 FC-SAN 连 接 常 用 命令 


。 检查 HBA 卡 是 否 被 系统 正确 识别 
# lsdev -Cc adapter | grep fcs 
。 查看 HBA 卡 的 NWN 号 
# lscfg -pvl fcsO 
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。 #lsdev-Ccadapterl|grepfcs 
fcsO0 Available 02-00 4Gb FC PCI Express Adapter (df1000fe) 
fcs1 Available 03-00 4Gb FC PCl'Express Adapter (df1000fe) 
。 #1scfg -pvlfcsO 


fcsO U789C.001.DQDH419%P1-C2-11 4Gb FC PCI Express Adapter 
(df1000fe) 


Device Specificd78)..... 20000000C985EOFC 
PLATFORM SPECIFIC 

Name: fibre-channel 

Model: LPe11000 

Node: fibre-channel@0 

Deévice Type: fcp 

Physical Location: U789C.001.DQDH419-P1-C2-T11 
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AIX 平 台 下 磁盘 管理 常用 命令 


。 发 现 5AN 磁 盘 资源 
# cfgmgr —v 

。 检查 磁盘 是 否 正常 识别 
# lsdev -Cc disk 

。 检查 磁盘 是 否 正常 识别 
#Ispv 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





# lsdev -Cc disk 

haisko Available 05-08-00 SAS Disk Drive 

hdiskl Available 05-08-00 SAS DisRDrive 

hwdiskO Available 01-00-02 HUGWei STOR_V2R2 FC Disk Drive 


# lspv 

hdiskO O00c5e3f45ceqg29b rootvg active 
hdiskl O0c5e3f48183d296 rootvg active 
hwdiskO none None 


AlIX 平 台 下 多 路 径 


。 安装 多 路 径 软件 
#installp ~ acd UltraPath-41.01.10T01.powerpc_64.bff all 
。 查看 UltraPafh 是 否 安装 成 功 
# lslpp -|UPforAIX* X 


。 重启 系统 ， 激 活 多 路 径 
# shutdown —Fr 
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AIX 的 多 路 径 功 能 需要 另外 安装 随 设备 提供 的 多 路 径 软 件 UltraPath for AlX。 


安装 UltraPath for AIX 之 前 请 先 检查 MtraPath for AIX 兼 容 性 列表 ， 确 保 使 用 与 AIX 系 
统 兼 容 的 UltraPath 版 本 。 


安装 UltraPath 之 前 可 能 会 需要 对 系统 进行 某 些 修改 ， 请 参考 UltraPath 安 装 说 明 书 。 
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图 目录 
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Solaris 系 统 IP-SAN 常 用 命令 -IP 配 置 


。 检查 网 卡 IP 信 息 
# ifconfig -al 
。 启用 iscsi SAN 使 用 的 网 卡 


# ifconfig e1000g1 plumb YX 
# ifconfig e1000g1 inef 172.16.218.1 netmask 255.255.0.0 up 


# ifconfig e1000g1 
# echo “172.16.218.1” >/etc/hostname.e1000g1 
。 说 明 : 
o 如 果 要 永久 配置 网 口 IP 信 息 ， 需 要 创建 /etc/hostname.e1000g1 
o 将 IP 信 息 记录 在 /etc/hostname.e1000g1 文 件 中 。 
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。 Solaris for iSCSI SAN 的 设置 过 程 包含 以 下 几 丫 主题 : 
oO 在 Solqris 下 设置 网 卡 信息 。 
在 Solqris 下 检查 iSCSl initiator 软 件 。 


口 


在 Solaris 下 设置 iSCSl initigt6r 信 息 。 


口 


在 Solaris 下 设置 SCSltergetf 信 息 。 
发 现 iSC9S| 磁 盘 设备 6 


口 


口 
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Solaris 系 统 IP-SAN 常 用 命令 -iSCSI 软 件 


。 检查 iscsi inititgtor 软 件 是 否 可 用 
# pkginfo | grep -iiscsi 
。 查看 iscsiadm 是 否 可 用 


# /Usr/sbin/iscsiadm 
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iSCsl initiqtor 默 认 在 系统 中 是 已 安装 软件 “如 果 没 有 安装 ， 需 要 安装 solqirs 的 操作 手 
册 进 行 安 装 。 
# pkginfo | grep -iiscsSi 
System SUNWiscsir Sun iSCSIBDevice Driver (root) 
System SUNWiscsitgtr SWn iSCSITarget+ (Root) 
System SUNWiscsitgtgs=Sun iSCSI Target (Usr) 
System SUNWiscsiu SUniSCSI Management Utilities (usr) 
# /Usr/sbin/iscsiadm 
Usage: isCsiadm -?,-V,--help 
Usage: iscsiadm add [-?] <OBJECT> [-?] [<OPERAND>] 
Usage: iscsiadm list [-?] <OBJECT> [-?] [<OPERAND>] 
Usage: iscsiadm modify [-?] <OBJECT> [-?] [<OPERAND>] 
Usage: iscsiadm remove [-?] <OBJECT> [-?] [<OPERAND>] 


For more information, please see iscsiadm (1M) 
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Solaris 系 统 IP-SAN 常 用 命令 -iSCSI 配置 \ 


。 检查 iscsi inititator name 
# iscsiadm list initiator-node 
。 设置 iscsi inititgator name 
# iscsiadm modify initiator-node -N igqn.1986-03.com.sun:01 
# iscsiadm modify initigator-node -A sff2002.hselab.com 
# iscsiadm list initiator-node 
。 设置 iscsi target address 
# iscsiadm add discovery-address 172.16.1.101 
# iscsiadm list discovery-address 
# iscsiadm modify discovery -fenable 


# iscsiadm list discovery 
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# iscsiadm list inifiafor-node 检查 iscsi inititateriname 
Initigtor node name: ign.1986-03.com.syNn:01:002128149490.4a0ce9f0 
Inifiafor Nnode qligs: - 


# iscsiadm modify initigator-node-N ign.1986-03.com.sun:01 设置 iscsi inititgtor 
Name 


# iscsiadm modify initiator-nodesA sft2002.hselab.com 
# iscsiadm list initiator-node 

Initiator node name: iqgnN.1986-03.com.sun:01 

Inifiafor node qligs: sft2002.hselab.com 
# iscsiadm qdd discovery-address 172.16.1.101 增加 iscsitarget name 
# iscsiadm list diseovery-address 

Discoveéry Address: 172.16.1.101:3260 
# iscsigdm modify discovery -fenable 设置 iscsi target 发 现 方 式 
# iscsiGdm list discovery 

Diseovery: 

static: disabled 

Send Targets: enabled 

iSNS: disabled 
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Solaris 系 统 FC-SAN 连 接 常用 
# cfgadm -Q 查看 硬件 设备 
# luUxadm -e port 检查 HBA 连 接 是 否 正 常 
# fcinfo hba-port 查看 HBA 卡 WWN 号 
修改 /kernel/drv/sd.conf 文 件 ， 设 置 多 LUN 的 识别 (可 选 ) 


# Update_drv -f sd 
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。 若 有 LUN 0 以 外 的 LUN 从 阵列 映射 给 solgris 服 务 器 。 则 需要 修改 /kernel/drv/sd.conf 
文件 ， 将 LUNO 以 外 的 磁盘 写 入 将 文件 


# vi /kernel/drv/sd.conf 
Name="sd" class="sCcsi" classzprop=' afapi target=0 lun=0; 
Name="sd" class= scsisclassSprop= afapi target=0 lun=1; 
。 #fcinfo hba-port 
HBA Port WWN: 2100001b32870331 
OS Device Name:; /dev/cfg/c4 
Manufactwrer: QLogic Corp. 
Model: 375-3355-02 
FirmwaresVersion: 4.04.01 
FESode/BIOS Version: BIOS: 1.24; fcode: 1.24; EFl: 1.8; 
Seridl Number 0402G00-0850667606 
Driver Name: glc 
Driver Version: 20080617-2.29 


Type: unknown 
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Solaris 系 统 FC-SAN 连 接 常用 
# cfgadm - al 查看 硬件 设备 
# luxadm -e port 检查 HBA 连 接 是 否 正 常 
# fcinfo hba-port 查看 HBA 卡 WWN 号 
修改 /kernel/drv/sd.conf 文 件 ， 设 置 多 LUN 的 识别 (可 选 ) 


# Update_drv -f sd 
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State: offline 
Supported Speeds: 1Gb 2Gb 4Gb 
Current Speed: nof established 


Node WWN: 2000001b32870331 
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Solaris 系 统 磁盘 管理 常用 命令 
# cfgadm 检查 光纤 控制 器 是 否 配置 成 功 


¢\ Telnet 129.20.2.14 


bash-3.00# cfgadm 
Type Receptacle Qccupant Condition 
scsi-bus connected configured unknown 
scsi-bus connected unconfigured unknown 
fc-priuate connected configured unknown 
c3 fc-priuate connected configured unknown 
bash-3.00# 
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cfgadm 


“fc-private” 代 表 两 块 HBA 卡 (这 里 是 直 连 组 网 ， 没 有 交换 机 参与 ， 如 果 采 用 有 交换 
机 的 组 网 方式 ， 该 类 型 应 该 会 显示 为 fc-febric) ， 且 其 连接 状态 均 为 “connected” 
， 驱动 程序 状态 均 为 “configured”， 说 明 驱 动 已 经 加 载 成 功 。 


format 
Searching for disks...done 
AVAILABLE DISK SELECITIONS: 


0. c0t0d0 <SUN72Gcyl 14087 alt 2 hd 24 sec 424> 
/pci@780/pci@0/pci@9/scsi@Q0/sd@0,0 


1. coOt1d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424> 
/pci@/780/pci@O/pci@9/scsiQ0/sd@1,0 


2. c3t1200400A0B832927Bd0 <ENGENIO-INF-01-00-0619 cyl 5118 qlt 2 hd 64 sec 
64> 


/Pci@/7cO/pci@O0/pci@8/SUNW,gqIc@0/fp@0,0/ssd@w2004009g0b832927b.,0 


3. C31200400A0B832927Bd1 <ENGENIO-INF-01-00-0619 cyl 5118 qlt 2 hd 64 sec 
64> 


/pci@/7cO/pci@O0/pci@8/SsUNW,gqIc@0/fp @0,0/ssd@w2004009g0b832927b,1 


Specify disk (enterits number): 


Solaris 平 台 下 多 路 径 


。 3olaris 平 台 的 多 路 径 实现 采用 3olaris 自 带 的 STM3S 功 能。 

。 9TM3 (StorEdge Traffic Manager Software) 由 3UN 公 司 开 发 的 随 yolaris 系 统一 
起 发 布 的 一 款 多 路 径 软件 。 对 于 Solaris 8/9，STMS 以 安装 包 的 形式 发 布 ， 对 于 
solaris 10/11，STMS 被 集成 在 系统 中 ， 随 系统 一 起 发 布 。STM5 功 能 可 以 支持 多 路 径 、 
Failover、Failback (可 选 ) 功能 。 对 于 A/A 模 式 的 存储 控制 器 ，STMS 不 能 实现 
Failback 功 能 . 
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使 用 formaf 命 令 发 现 磁 盘 后 ， 输 入 磁盘 前 的 LUN 号 ， 再 输入 ingquiry ， 需 要 记录 
Yendor 和 Producf 字 段 的 内 容 : 


format> inauiry 
Vendor: HUAWBI 
Product: S5000 


修改 /kernel/drv/scsi_vhici.c6nf 文 件 。 在 /kernel/drv/scsi_vhci.conf 中 将 存储 阵列 


#vi /kernelydrv/scsi_vhci.conf 

device-type-scsi-options-list = 
“HYUAWEkS5000", "symMmetric-option'; 

symmetric-option = Ox1000000; 


其 中 “HUAWEI” 为 存储 阵列 的 Vendor， 该 字段 必须 为 八 个 字符 ， 对 于 未 满 八 个 字符 
的 ， 需 要 用 空格 补 齐 。 “S5000” 为 存储 阵列 的 Product。 


输入 以 下 命令 激活 光纤 卡 的 多 路 径 功能 。Solaris 将 会 重新 启动 : 
# stmsboot-Dfp -ee 


重启 完成 后 ， 使 用 formaqt 命 令 查看 磁盘 ， 以 /scsi_vhci/ 为 首 的 磁盘 设备 表示 为 多 路 径 
下 的 虚拟 磁盘 。 


stmsboot -上 命令 可 以 查看 多 路 径 信息 ，mpafhadm list lu 可 以 查看 多 路 径 链 路 。 
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HP-UX 系 统 IP-SAN 常 用 命令 -网 


# ifconfig lan0 ”检查 网 口 IP 信 息 


。 通过 sqm 修 改 网 口 的 IP 地 址 : 
在 HP-UX 服 务 器 上 ， 以 超级 用 户 身份 登录 。 
在 hpterm 或 xterm 窗 口中 输入 sam。 
选择 “Networking and Communications”。 
选择 “Network Interface Cards”。 
选择 要 激活 的 网 卡 。 
在 SAM 菜 单 栏 中 选择 “Action” 户 “modify”§ 
网 口 配 置 窗口 输入 IP 信 息 。 
选择 “OK” 完 成 网 口 IP 信 息 设 置 。 
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HP-UX 系 统 IP-SAN 常 用 命令 -initiator 


。 查看 软件 仓库 的 iscsi inititator 软 件 
# swlist -d @ /opt/iSCSI-00_B.11.23.03f_HP-UX_B.11.23_IA_PA.depot 





。 检查 iscsi inititator 软 件 是 否 可 用 


# swinstall -x qutoreboot=true - s /tmp/iSCSI-00_B.11.23.03f_HP- & 
UX_B.11.23_IA_PA.depotiSCSI-00 


安装 iscsi initiator 软 件 

# PATH=$PATH:/opt/iscsi/bin ”为 initigtor 软 件 增 加 执行 路 径 

# iscsiutil -| 查看 initiatorname 

# iscsiutil -i-N iqn.1986-03.com.hp:rx2660-1 修改 initiatormame 
# iscsiutil -a -| 172.16.1.101 添加 target 地 址 

# iscsiufil -= PD 查看 inifiator 与 目标 器 的 连接 
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安装 Cs3l 软 件 过 程 中 需要 重新 启动 。 
# iscsiutil -pD 


Discovery Target Informoation 


Target#1 
IP Address : 172.16.1M101 
iSCSI TCP Port :8260 


i9C9l Portgl Group Tag :1 


User Configured: 
Authenficeton Method 
CHAP Meéthod :CHAP_UNI 
Iniiator CHAP Name 


CHAP Secret 
Header Digest : None,CRC32C (default) 
Data Digest : None,CRC32C (default) 


HP-UX 系 统 FC-SAN 常 用 命令 


# ioscan -fnC fc 检查 FC HBA 卡 是 否 被 HP-UX 系 统 识别 


# fcmsutil /dev/fcd0O 查看 FC HBA 卡 的 NWWN 号 
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e #ioscan-fnC fc 


Class | H/WPath Driver S/W stat@ H/W Type ， Description 


fc 0 0/2/1/0/4/0 fcd CLAIMED INTERFACE HP 


AD193-60001 PCI/PCI-X Fibre Channel 1-por 4Gb FC/1-port 1000B-T Combo 
Adapter (FC Port 1) 


/dev/fcd0 
。 #fcmsutil /dev/fcd0 
Link Speed = 4Gb 
Local N_Port_id is = Ox000001 
Previous N_Port_idis = None 
LocalLoop_idis = 125 
N_Port Node World Wide Name = Ox50014380017abd31 
N_Port Port World Wide Name = Ox50014380017abd30 
Switch Port World Wide Name = N/A 
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HP-UX 系 统 FC-SAN 常 用 命令 


# ioscan -fnC fc 检查 FC HBA 卡 是 否 被 HP-UX 系 统 识别 


# fcmsutil /dev/fcd0 ”查看 FC HBA 卡 的 WWN 号 
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switch Node World Wide Name = N/A 
Driver state = ONLINE 

Hardware Path is = 0/2/1/0/4/0 
Maximum Frame Size = 2048 
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HP-UX 平 台 下 磁盘 管理 常用 命令 、 
# ioscan-H 255 ”发现 目标 设备 分 配 的 SCSI 资 源 

# insf-H 255 ”更 新 ip-sSan 系 统 磁盘 资源 

# insf-e -C disk 发 现 fc-san 的 硬盘 

# ioscan -funC disk 检查 硬盘 资源 


# diskinfo /dev/rdsk/c5t0d0 ”查看 硬盘 状态 信息 
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。 # inNsf-e-C disk 

insf: Insfalling special files for sdisk instonces address 0/0/2/1.0.16.0.0 

insf: Insfalling special files for sdisk instance 1 address 0/1/1/0.0.0.0.0 

insf: Insfalling special files for sdiskinstanNce 2 address 0/1/1/0.0.0.1.0 

insf: Insfalling special files for sdiskiiNstance 5 address 0/2/1/0/4/0.8.0.2.0.0.0 
。 # ioscan -func disk 


Class | H/W Path Driver S/W State H/W Type Description 


Disk 5 0/2/1/0/4/0.8:02.0.0.0 sdisk CLAIMED DEVICE ENGENIO INF-01-00 
/dev/dsk/cStOd0 /dev/rdsk/c5t0d0 

。 # diskinfo Ydev/rdsk/c5t0d0O 

SCSl describe.of /dev/rdsk/c5t0do: 

yender ENGENIO 

prOoductid: INF-01-00 

tyPe: direct qccess 

size: 20971520 Kbytes 

bytes per sector: 512 
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HP-UX 系 统 多 路 径 


。 HP-UX 的 多 路 径 实现 由 系统 自 带 的 功能 实现 
o LVM PVLINK 
o 本 地 多 路 径 (Native Multipathing) 
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自 HP-UX 11i v3 起 ,海量 存储 堆栈 支持 本 地 多 路 径 ， 而 不 使 用 LVM pvlink。 本 地 多 
路 径 比 LVM 提 供 了 更 多 的 负载 均衡 算法 和 路 径 管理 选项 。HP 建议 使 用 本 地 多 路 径 而 不 是 
LVM 的 备用 链 路 来 管理 多 路 径 设 备 。 护 实现 向 后 兼容 ， 可 以 使 用 现 有 的 pvlink。 但 必须 
使 用 物理 卷 的 Legacy 设备 专用 文 件 ， 并 使 用 scsimgr 命令 禁用 这 些 Legacy 设备 专用 文 
件 的 本 地 多 路 径 功能 。 本 地 多 路 径 为 即 开 即 用 ， 不 需要 做 任何 配置 。 


e。 Pvlink 配 置 


例如 ， 如 果 磁 盘 有 两 条 路 径 y 要 将 一 条 用 作 主 链 路 ， 另 一 条 用 作 备用 链 路 ， 请 输入 以 
下 命令 : #vgcreate /dev/vg01 /dev/dsk/c3t0d0 /dev/dsk/c5t0d0 


。 配置 LVM 

oO 要 添加 到 物理 卷 的 备用 链 路 (该 物理 卷 已 经 是 卷 组 的 一 部 分 ) ， 请 使 用 vgextend 
指定 指向 该 物理 卷 的 新 链 路 。 例 如 ， 如 果 /dev/dsk/c21t0d0 已经 是 卷 组 的 一 部 分 ， 
但 还 希望 再 添加 另 一 个 指向 物理 卷 的 连接 ， 请 输入 以 下 命令 : 
# vgextend /dev/vg02 /dev/dsk/c4t0d0 

oO 如果 主 链 路 发 生 故 障 ，LVM 将 自动 从 主 控制 器 切换 到 备用 控制 器 。 但 是 ， 也 可 以 随 
时 使 用 pvchange 命令 要 求 LVM 切换 到 另 一 个 控制 器 。 例 如 : 
#/vchange -s /dev/dsk/c2t1d0 

o 主 链 路 恢复 后 ，LVM 将 自动 从 备用 控制 器 切换 回 原来 的 控制 器 ， 除 非 已 使 用 
pvchange 指示 它 不 进行 切换 ， 如 下 所 示 : 
# pvchange -Sn /dev/adsk/c2f2d0 
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UltraPath 简 介 


控制 对 存储 设备 的 访问 
主机 到 存储 设备 之 间 的 
径 选 择 


提高 主机 与 存储 设备 之 间 的 
路 径 可 靠 性 


一 款 安 装 在 主机 的 用 于 增强 业 
务 性 能 和 可 用 性 的 多 路 径 软 件 


作为 操作 系统 的 一 个 驱 汶 私 记 
运行 在 操作 系统 内 核 态 


在 不 同 操作 条 统 下 有 不 同 的 安 
装 程序 或 脚本 
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实现 原理 


服务 器 


UltraPath 


图 十 


描述 
在 没有 多 路 径 的 情况 
下 ， 通 过 操作 系统 看 
到 设备 上 的 LUN A 是 
两 份 (分别 用 LUNA 和 
LUNA. 表示 ) 。 

风险 
通过 服务 器 同时 对 
LUNA 和 LUNA - 写 入 数 
据 的 时 候 ， 在 设备 上 
会 产生 冲突 。 
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描述 

在 装 有 多 路 径 的 情 

况 下 ， 两 个 机 帮 的 

LUN 被 虚拟 成 一 站 新 
的 设备 二 新 的 设备 

再 去 对 应 盆 条 链 路 ， 
应 用 程 启 则 使 用 虚 

和 拟 查 VBDisk0。 


优势 
对 虚拟 LUN 进 行 操作 | 
从 而 避免 了 冲突 。 


Wb HUAWwEI 
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UltraPath 主 要 功能 


生成 虚拟 LUN 
最 优 应 用 
路 径 选 择 \、 软件 支持 


UltraPath 


故障 切换 = = 


路 径 MO 
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。 生成 虚拟 LUN 
o 对 上 层 用 户 透 明 ， 屏 菩 物 理 LUN 站 读 写 操作 通过 虚拟 LUN 进 行 。 
。 应 用 软件 支持 


o 支持 业界 主流 集群 软件 : MSSSMSCS、VCS、HACMP、Oracle RAC 等 集群 软 
件 。 


o 支持 主流 数据 库 : Orgqcle、DB2、MySQL、Sybqse、Informix 等 。 
。 故障 恢复 


。 故障 倒 换 之 前 的 好 务 链 路 恢复 后 ， 业 务 恢复 (FoilBack) 随 之 发 生 ， 用 户 无 需 介 
入 ， 自 动 完成 ~ 且 业 务 不 中 断 。 


。 路 径 MO 负 载 均衡 
o 自动 选择 多 条 路 径 进 行 下 发 ， 提 高 IO 性 能 。 
o 人 根据 路 径 繁忙 程度 进行 业务 路 径 选 择 。 
。 故障 切换 
f、 业务 链 路 发 生 故 障 的 时 候 ， 故 障 切换 ( FailOver ) 随 之 发 生 ， 实 现 业务 不 中 断 


0° 


o 通过 LUN 归 属 控制 器 上 的 路 径 进行 操作 ， 能 获取 最 佳 的 性 能 。 
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典型 组 网 方式 


UltraPath 


HBA1 | 


直 连 方式 -连接 双 控 单 交换 机 - 双 控 方式 
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双 交 换 机 - 双 控 方式 


Mb Huawel 
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UltraPath for Solaris 安 


下 表 列 出 了 UltraPath for Solaris 的 安装 步骤 : 


1. 使 用 具有 Solaris 操 作 系统 超级 用 户 (root) 权限 的 账号 。 ® 
2. 确 保 操作 系统 是 Sparc 架 构 下 的 Solaris 10 Update8, Solaris11 ’ 
Update 1。 

安装 前 准备 i | 
3. 保 证 服务 器 上 /opt 目 录 至 少 有 200M 剩 余 空 间 。 GS 
4. 只 支持 FC 组 网 。 © 

~ 
1. 拷 贝 安装 包 到 目标 机 。 
开始 安装 
2 

安装 后 检查 1. 重 启 主机 使 多 路 径 生 效 。 ~ 

2. 通 过 Upadm 检 查 安 装 的 多 路 径 版 本 含 
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UltraPath for Solaris 安 装 前 准备 


。 使 用 具有 Solaris 操 作 系 统 超级 用 户 (root) 权限 的 账号 登录 
访问 系统 : 


通过 命令 cat /etcrelease 查 看 系统 版 本 ， 确 保 操 作 系 统 是 
sparc 架 构 下 的 Solaris 10 Update8。 


通过 命令 df -h /opt/ 查 看 存储 空间 ， 保 证 服务 器 上 /opt 目 录 至 
少 有 200M 剩 余 空间 。 
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使 用 具有 olaris 操 作 系统 超级 用 户 (root) 权限 的 账号 登录 访问 系统 : 
、 本 地 访问 

[roof@Solaris10:/]# who 

roof console Jun 1111:20 

2、 远 程 访问 

[root@Solaris10:/]# who 

roof pts/1 Jun 11 11:28 (129.42.2.2) 

确保 操作 系统 是 Sparc 架 构 乎 的 Solaris 10 Update8。 

[root@Solaris10:/]# cat /etc/release 

Solaris 10 10/09 SOs_u8wos 08a SPARC 

Copyright 2009.Sun Microsystems, Inc. Al Rights Reserved. 

Use is subject to license terms. 

Assembled T6 September 2009 

保证 服务 器 上 /optf 目 录 至 少 有 200M 剩 余 空间 。 

[roct@sSolaris10:/]# df -h /opt/ 

Filesystem Size Used qvail capacity Mounted on 


/dev/dsk/clt0d0s0 85G 36G 48G 43% / 
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安装 UltraPath for Solaris 


。 拷贝 安装 包 到 目标 机 ; 
。 执行 安装 : 切换 到 安装 包 目 录 ， 执 行 install.sh ， 开 始 安装 。 


o 如 果 检 测 到 自动 的 STMS 多 路 径 管 理 了 Oceanstor 存 储 系 统 ， 会 
提示 是 否 关闭 STMS 对 Oceanstor 存 储 系统 的 管理 ， 输 入 ”y4 X 


Huawei arrays are managed by the ST™S. 


Are you sure to cancel the management of Huawei arrays under 
the STMS to avoid the conflict with the management of Huawei 


arrays under the UltraPathy?(y or n): 
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-bash-3.00# sh insfall.sh 
Checking free space of /opt... 
Transferring <UltraPath> packageiinstance 
The following packages aresGlvailoable: 

1 UltraPath UltraPath forsolaris 

(sparc) 5.01.037 


Select package!(s) you'Wish to process (or 'all to process 
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UltraPath for Solaris 安 装 后 检查 





。 安装 完成 后 需要 重启 主机 后 多 路 径 才能 生效 
* UltraPath Installation: 
* Installation is successful. 
* Please REBOOT the host to make the installation 


* effectivel 


Installation of <UltraPath> was successful. 
。 通过 upadm 检 查 安 装 的 多 路 径 版 本 

[root@chenwei:/export]# upadm 

UltraPath CLI #0 >show version 

Software Version :5.01.037 


Driver Version :5.01.037 
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1. 安 装 完成 后 需要 重启 主机 后 多 路 径 才能 生效 

* UltraPath Installation: 

* Installgtion is successful. 

* Please REBOOT the hostto make the installation 
* effectivel! 

Installation ef <UlfrePath> was successful. 

2. 通 过 Upadm 检 查 安 装 的 多 路 径 版 本 
[root@ehenwei:/export]# upadm 

UltraPath CLI #0 >show version 

Software Version :5.01.037 


Driver Version :5.01.037 
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UltraPath for AIX 安 装 前 准备 -识别 硬盘 


。 未 安装 多 路 径 时 ， 区 分 存储 上 报 的 磁盘 与 本 地 磁盘 。 
o 通过 检查 命令 lscfg -vpl hdiskX 的 输出 来 判断 ， 如 下 所 示 : 


o 高 版 本 系统 中 ， 可 以 通过 检查 命令 lspv -Uu 的 输出 来 判断 ， 如 下 所 示 ， 其 中 
红 框 中 为 磁盘 的 WWN， 蓝 框 为 存储 型 号 及 厂商 : 
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UltraPath for AIX 安 装 前 准备 


由 于 安装 完毕 后 需 重 启 AlX 主 机 ， 故 需要 先 停止 业务 。 
保证 应 用 服务 器 上 “/opf” 目录 至 少 有 200M 剩 余 空 间 以 及 “/usr 
目录 至 少 有 10M 剩 余 空 间 。 

查询 应 用 服务 器 的 AIX 版 本 及 操作 系统 位 数 ， 需 保证 AlX 操 作 系统 息 
5300-03 及 以 上 、6100-01 及 以 上 或 7100-01 及 以 上 ， 并 且 操 作 系 统 
的 位 数 为 64 位 。 

使 用 命令 lsdev -Cc adapter| grep fc， 确 定 应 用 服务 器 上 HBA 卡 
的 状态 是 “Available”。 
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。 安装 完毕 后 需要 重启 AIlX 主 机 ， 故 需要 停 正 业务 。 

。 保证 应 用 服务 器 上 “/opf” 目 录 至 少 有 200M 剩 余 空 间 以 及 “/usr” 目录 至 少 有 
10M 剩 余 空间 。 

# df -m 

Filesystem MB blocks Free %Usedilused %lused Mounted on 

/dev/hd2 5248.00 685.33 87% 61338 28% /Usr 

/dev/hd10opf 2048.00 1852.50 10% 2333 1% /opt 

。 查询 应 用 服务 器 的 AlX 版 本 及 操作 系统 位 数 ， 需 保证 AIX 操 作 系 统 是 5300-03 及 以 
上 、6100-01 及 以 上 或 7100-01 及 以 上 ， 并 且 操 作 系 统 的 位 数 为 64 位 。 

# Oslevel -~r 5300-06 

# bootinfo -y 64 

。 确定 应 用 服务 器 上 HBA 卡 的 状态 是 “Available” 

#lsdqev -Cc ddapter | grep fc 

fcso Defined 14298FC Adapter 

fcsl DefinedNA-08 FC Adapter 

fcs2 Availaele 1A-08 FC Adapter 

f€s3 Available 1D-08 FC Adapter 

说 明 

fGsO~fcs3 表 示 AIX 主 机 上 的 4 张 H8A 卡 ， 实 际 情况 HBA 卡 的 数量 可 能 不 同 。 

Defined 表 示 卡 不 可 用 ，Available 表 示 卡 可 用 。 
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UltraPath for AIX 安 装 前 准备 


。 如 果 在 安装 UltraPath for AlX 软 件 前 ， 华 为 存储 系统 已 添加 映射 
LUN 给 AIX 主 机 且 已 上 报到 AlX 操 作 系 统 ， 则 必须 执行 rmdev -dl 命 
令 将 物理 磁盘 删除 (使 用 lscfg -vpl hdiskXX 确 定 是 否 华为 磁盘 )s 。 


4 


。 使 用 命令 lscfg -vplfcs0， 确 定 应 用 服务 器 上 HBA 卡 的 型 号 = 保证 
HBA 卡 是 AIX 应 用 服务 器 自 带 的 。 
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。 如 果 在 安装 UltraPath for AlX 软 件 前 , ,华为 存储 系统 已 添加 映射 LUN 给 AlX 主 机 且 已 上 
及 到 AIX 操 作 系 统 ， 则 必须 执行 [mdev dl 命令 将 物理 磁盘 删除 (使 用 Iscfg -vpl 
haiskXX 确 定 是 否 华为 磁盘 ) 。 

# rmdev -dl hdisk2 
hdisk2 deleted 

。 使 用 命令 lscfg -vpl fcs0， 确 定 应 用 服务 器 上 HBA 卡 的 型 号 。 保 证 HBA 卡 是 AIX 应 用 服 
务 器 自 带 的 。 

# lscfg -vplfcsO 

fcsO U787B.001.DNWF39F-P1-C3-T1 FC Adapter 


Part NumMber.....s...... O3N5014 

EC Level.......... NN..... 入 

Serial Number 1F8463703 1 
ManufQcfurer .4 O01F 
Featyre Cede/Moarketing ID...280D 
FRY NUumnileer O3N5014 


Name: fibre-channel 
Model: LP11000 
Node: fibre-channel@1 


0 
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UltraPath for AIX 安 装 前 准备 


。 如 果 在 安装 UltraPath for AlX 软 件 前 ， 华 为 存储 系统 已 添加 映射 
LUN 给 AIX 主 机 且 已 上 报到 AlIX 操 作 系 统 ， 则 必须 执行 rmdevy -dl 命 
令 将 物理 磁盘 删除 (使 用 lscfg -vpl hdiskXX 确 定 是 否 华为 磁盘 )s 。 


X 


。 使 用 命令 lscfg -vplfcs0， 确 定 应 用 服务 器 上 HBA 卡 的 型 号 = 保 证 
HBA 卡 是 AIX 应 用 服务 器 自 带 的 。 
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Device Type: fcp 
Physical Location: U787B.001.DNWF39F-P RC3-T] 


其 表示 该 HBA 卡 的 型 号 为 LP11000 对 应 的 IBM 标 识 Feature Code/Moarketing ID 为 
280D (在 AIX 高 版 本 系统 中 该 字段 被 修改 为 “Customer Card ID Number”) 。 


安装 UltraPath for AIX * 


。 将 UltraPath for AlX 软 件 包 上 传 到 AlX 主 机 的 任意 目录 (一 般 使 用 
tmp 目 录 ) ， 建 议 新 建 一 个 目录 存放 UltraPath for AlX 软 件 安装 包 
中 所 有 文件 ， 注 意 : 不 要 改动 软件 包 的 目录 结构 ， 软 件 包 目 录 不 能 
含有 空格 ! % 


。 进入 上 传 到 AIX 系 统 的 软件 包 目 录 ， 执 行 tar -xvf /sjcV jx 珍 人 对 ， 如 
1a/ 文 廊 亡 压 为 “install sh” 


e 执行 Sh /51Q/.sh 僵 令 迹 疗 安装 。 
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执行 sh Wsfash 命 令 ， 开 始 安 装 ， 该 脚本 首先 进行 环境 检查 ， 例 如 当 存 在 见 余 物理 磁 
盘 时 ， 会 提示 选择 继续 或 者 退出 安装 : 
WARNING :The array disk exist in system,please delete it first. 
If not,virtugl lun may nof been Made syccesstful. 


1 warning exists during installing the UltraPath software,are you sure 
continue (Y/y}or(N/nN)? : -SS 


当 环 境 检 查 通过 时 ， 则 安装 结束 时 系统 有 UltraPath 安 装 完成 的 提示 信息 。 
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安装 UltraPath for AIX 


e。 执行 chdevy -|Name -qa fc_err_recov=xxx 和 chdeyv -| 
Name -a dyntrk=xxx 命 令 ， 配 置 fscsi 设 备 属性 ， 修 改 属 
Wai 


。 执 行 shutdown -Fr 命令 ， 重 启 系统 ; 


。 UltraPath 的 初始 化 配置 在 安装 前 已 经 包含 在 安装 包 中 ， 
安装 完成 后 即 会 采用 默认 配置 进行 工作 % 
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。 首先 执行 Sdey -Cc 9river/9rep zcs 列 出 当前 的 fscsi 设 备 : 


-bash-3.00# lsdev -Cc driver | grep fscsi 
fscsi0 Available 06-08-01 FC SCSI I/O\Controller Protocol Device 
fscsil Available 0B-08-01 FC SCSI I/O Ceontroller Protocol Device 


。 然后 执行 Sdev -p fscsiX， 分 别 查询 各 fscsi 设 备 是 否 有 子 设备 : 


-bash-3.00# lsdev -p fscsiO 
sfwcommo Available 06-08301-FF Fibre Channel storage Framework Comm 


。 根据 查询 的 结果 ， 执 行 Imdev -| subDevice 将 子 设备 设置 为 defined 状 态 : 


-bash-3.00# rmdev -fsfwcommo 
sftwcomm0 Defineéd 


。 最 后 修改 HBA 卡 属性 : 

DAS 直 连 : dyntrk 参 数 : no; fc_err_recov 参 数 : delgqyed _fail 

SAN 交 换 机 : dyntrk 参 数 : yes; fc_err_recov 参 数 : fast_fail 

。/ 执 行 Shoutdown -Fr 命令 ， 重 户 系统 。 

。 UltraPath 的 初始 化 配置 在 安装 前 已 经 包含 在 安装 包 中 ， 安 装 完成 后 即 会 采用 默认 配置 


oo 
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安装 UltraPath for AIX - 重 


。 执行 Upadm show version 命 令 检查 已 安 
版 本 一 致 
执行 sdev -Cc disk 检 查 虚 拟 磁盘 数目 是 否 与 映射 LUN 数 目 千 
致 ， 若 数目 不 一 致 ， 则 使 用 mdev -dl hdiskXX 命令 删除 其 有 


的 华为 磁盘 (使 用 lscfg -vpl hdiskXX 确 定 ) ， 再 执行 cfgmgr 
命令 。 

执行 Spath 检 查 路 径 数目 是 否 与 实际 组 网 一 致 。 

执行 upadm show Ilun 命 令 确 定 各 虚拟 磁盘 与 LMN 的 对 应 关 
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。 执行 Upadm Show version 命 令 检查 已 安装 版 本 是 否 与 目标 版 本 一 致 

# Upadm show version 

Software Version : 6.01.008 

Driver Version : 6.01.008 

。 执行 Sdev -Cc disk 检 查 虚 拟 磁盘 数目 是 否 与 映射 LUN 数 目 一 致 ， 若 数目 不 一 致 ， 则 使 
用 rmdev -dl hdiskXX 命令 删除 所 有 的 华为 磁盘 (使 用 lscfg -vpl hdiskXX 确 定 ) ， 再 执 
行 Cigmgr 命 令 。 

# lsdev -Cc disk 

hdiskO Available 17-08-00:8,0 16 Bit LVD SCSI Disk Drive 

hdisk1 Available 17-08-00-9/0 16 Bit LVD SCSI Disk Drive 

hdisk2 Available 1A-08-02 Other FC SCSI Disk Drive 

hdisk3 Defined 1A-08-02 Other FC SCSI Disk Drive 

hdisk4 Available 07-08-01 Huawei S5500T FC Disk Drive 

在 如 上 输出 中 ， 需 删除 hdisk2、hdisk3 及 hdisk4 后 执行 Cfgmgr。 

。 执行 spaih 检 查 路 径 数目 是 否 与 实际 组 网 一 致 。 

eC 执行 Upadm show lun 命 令 确定 各 虚拟 磁盘 与 LUN 的 对 应 关系 。 
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UltraPath for Windows 基 本 功能 配置 


e。 Windows 下 配置 UltraPath 有 两 种 方式 : 
o upadm 命 令 行 配置 方式 
sa 在 Windows 系 统 通 过 “开始 -> 所 有 程序 ->huawei->OceanStor 
UltraPath->upadm" 或 直接 在 Windows 的 命令 行 输入 upadm A 进 
入 upadm 命 令 行 通过 输入 CLI 命 令 配 置 UltraPath。 
o UltraPath Console 图 形 化 界面 配置 方式 


a 在 Windows 系 统 通 过 “开始 -> 所 有 程序 ->huawei->QceanStor 
UltraPath-> UltraPath Console" 或 


a 直接 在 系统 桌面 点 击 “UltraPath Console” 快 律 方式 图 标 进入 
UltraPath Console 控 制 台 配置 UltraPath 。 
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0D 3130 


UltraPath for Windows 基 本 功能 配置 
DI 


Ee 

set pathstate={enable | disable} 辣 到 
bath id=<ID> 启用 /禁用 一 条 物理 路 径 

set phypathnormal path_id=<ID> ”上 插 动 置 好 一 条 物理 路 径 


set tpgstate={enable | disable} py 
array_id=<ID> tpg_id=<A |B|ID> 启用 /禁用 一 个 控制 器 


set workingmode=<ID> 设置 阵列 的 工作 模式 
set luntrespass={on | off} 开启 /关闭 LUN 切 换 功 能 














set failbackdelaytime=<time> 设置 延迟 Failback 时 间 [0-1200s 


set iosuspensiontime=<time> 设置 全 网 闪 断 时 间 0-600s 





set ioretry=<number> 设置 |O 重 试 次 数 与 重 试 延 | 重 试 次 数 1] 各 28 次 
ioretrydelay=<time> 迟 时 延迟 时 间 林 -120 s 


start pathcheck Si 工 








。 在 多 路 径 的 命令 行 中 输入 “? ”查看 所 有 命令 格式 
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UltraPath for Windows 基 本 功能 配置 


。 设置 阵列 工作 模式 : 
o 请 按照 如 下 顺序 “UltraPath Console->Host->Disk array->Working Mode 
Settings” 进 入 工作 模式 设置 界面 ， 设 置 所 有 阵列 的 工作 模式 为 控制 器 间 负 载 
均衡 或 控制 器 内 负载 均衡 。 


© UltraPath Console 


图 dcdwm2003 Working Mode Setings ”Global Setings Controller's Path Status Refresh 
抱 Diskaray ， ID Name ArrayWwWN | Manufacturer ，Produc 


目 LuN 
Working Mode Settings 


Vorking Mode Setings 


Set the working mode for all arrays 


Working Mode Between controllers (©®) Within coniroller 





rr 
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。 在 “Working Mode” 的 右 侧 单 选 按钮 中 ， 选 择 Between Controllers， 则 所 有 阵列 的 
负载 均衡 模式 被 设置 为 控制 器 间 负 载 均衡 。 选 择 Within Controller， 则 所 有 阵列 的 负载 
均衡 模式 被 设置 为 控制 器 内 负载 均衡 % 

。 工作 模式 默认 为 “控制 器 内 负载 均衡 ”。 
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UltraPath for Windows Console 想 置 


。 设置 全 局 属性 : 
o 请 按照 如 下 顺序 “UltraPath Console->Host->Disk array->Global Settings” 
进入 全 局 设置 界面 ， 设 置 所 有 阵列 的 负载 均衡 模式 、 切 LUN 功 能 、Failback 延 迟 
时 间 、IO 〇 悬挂 时 间 、 重 试 策略 等 参数 。 


本 sam Wonang Mede Sean9t Oiobal Seangs 。 Centoaers Path Slitss Resesn 了 
FT Name JrmyWWN Mannacturer | Product Moded | Working to Disabled Co 
HNNEI 55300 -F1000019$262 HUA $5300 Wn controlier ~ 





Wb HUAWwEI 





。 在 全 局 设置 界面 ， 点 选 上 方 的 您 想 设置 的 属性 的 Tab 头 ， 然 后 在 tab 头 对 应 的 参数 框 中 
设置 对 应 参数 。 
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UltraPath for Windows Console 配 置 


。 设置 全 局 属性 (负载 均衡 模式 设置 ] : 
o 通过 负载 均衡 模式 设置 ， 可 以 选择 使 用 轮 询 、 最 小 队列 深度 或 最 小 任务 选 路 算法 
。 不 同业 务 场景 可 以 通过 设置 不 同 的 选 路 算法 ， 用 以 提高 ID 性 能 。 


Global Settings X 


Load Balance Mode LUNTrespass Failback DelayTime WO SuspensionTime Retry 以 


Load Balance Mode 


Setthe load balance mode about pathing algorithm, including round robin, minimum 
task and minimum queue depth 
Different pathing algorithms are applicable in different scenarios to improve W/O performaria 


Load Balance Mode: Minimum queue depth v 








Res 命 。 can 车 Help 
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。 在 “Load Balance Mode” 右 侧 下 拉 列 表 可 选择 轮 询 、 最 小 队列 深度 、 最 小 任务 等 选 
路 算法 ， 默 认 值 为 最 小 队列 深度 。 
oO 轮 询 算法 : 数据 在 可 用 路 径 上 轮流 下 发 。 
5 最 小 队列 深度 算法 : 多 路 径 软件 会 根据 当前 每 条 路 径 上 的 IO 个 数 ， 选 择 所 有 路 径 
中 IO 个 数 最 少 的 那个 路 径 不 发 IO 。 


o 最 小 任务 算法 : 不 公 评 算 IO 个 数 ， 同 时 计算 每 个 IO 访问 的 数据 量 大 小 ， 综 合 选 出 
负载 最 小 的 路 径 下 发 IO 。 
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UltraPath for Windows Console 虑 置 


。 设置 全 局 属性 (切换 LUN 设 置 ): 

o 通过 切换 LUN 设 置 ， 可 以 启用 或 禁用 切 LUN 开 关 。 启 用 后 ， 当 多 路 径 优选 控制 器 
上 的 所 有 路 径 都 发 生 故 障 后 ， 把 IO 往 备用 控制 器 下 发 ， 并 把 LUN 的 工作 控制 器 
切换 到 备用 控制 器 。 

& 


Load Balance Mode LUNTrespass Failback DelayTime WOSuspensionTime Retry 


LUN Trespass 


Determine whether to Switch LUNS working controller when lOs are switched to the 


other controller This function is enabled by default 


LUN Trespass ®) Enable Disable 








Boset® Cones] [How 
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。 在 “LUN Trespass” 的 右 侧 单 选 按钮 由， 选择 Enable， 则 启用 切换 LUN 的 工作 控制 器 
功能 。 选 择 Disable， 则 禁用 切换 LUN 的 工作 控制 器 功能 。 


。 切换 LUN 设 置 默认 值 为 “启用 ”状态 。 
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UltraPath for Windows Console 想 置 


。 设置 全 局 属性 (延迟 FailBack 时 间 设 置 ): 
o_ 当 多 路 径 检测 到 优选 控制 器 故障 恢复 后 ， 可 以 将 MO 立即 在 优选 控制 器 继续 下 发 
。 但 可 能 存在 主机 和 优选 控制 器 间 的 链 路 不 稳定 的 情景 ， 则 需要 设置 一 定时 间 间 
隔 ， 延 时 将 VO 切 回 优选 控制 器 ， 待 路 径 稳定 后 再 将 MO 选择 优选 控制 器 下 发 


Global Settings 
Load Balance Mode LUNTrespass Failback Delay Time VOSuspensionTime Retry 


Faillback Delay Time 


Set the failback delay time 


Iffailback delay is disabled, the time changes to 0 seconds automatically. 


Vv) Enable failback delay 


Delay time (s) 600 (1-1200,The value is 600 byyefauld) 


qa 


Reset 下 cancel | Help 
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。 勾 选 “Enable failback delqy”， 并 输入 Delay time, 则 启用 延迟 FailBack 时 间 功 能 
。 取 消 勾 选 “Enqable failback delqy”“， 则 Delaqy time 被 自动 设置 为 0， 延 迟 
FailBack 时 间 功 能 被 禁用 。 此 时 若 多 路 径 检测 到 优选 控制 器 故障 恢复 后 ， 立 即将 I/O 
向 优选 控制 器 继续 下 发 。 


。 延迟 FailBack 时 间 默 认为 “ 癌 用 ” 且 Delay time 默认 为 600 秒 。 


0D 319 


UltraPath for Windows Console 想 置 


。 设置 全 局 属性 (IO 悬挂 时 间 设置 ): 
o ”启用 I/O 悬 挂 功 能 并 设置 |/O 〇 悬挂 时 间 后 ， 当 主机 和 阵列 之 间 的 路 径 全 部 故障 ， 
多 路 径 软 件 可 以 在 设置 的 时 间 内 将 MO 悬挂 ， 而 不 向 上 层 应 用 程序 报错 。 


Global Settings x 
LoadBalance Mode LUNTrespass FailbackDelayTime WO Suspension Time Retry XX 


lO Suspension Time 


Set the WO suspension time. This function is disabled by default flUO suspension is 

disabled, the time changes to 0 seconds automatically 

When all paths between a host and the array are faulty, the UtraPath can suspend UOs 

fora specified period, without reporting errors to upper-layer application programs 
Enable WO Suspension 

lO Suspension Time (s)} 0 (1-600) 








Reset ™* WW Cancel™ | | Help 
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。 勾 选 “Enable IO Suspension”， 并 输入 I/ Suspension Time, 则 启用 MO 悬挂 功能 
。 取 消 匀 选 “Enable MO Suspensior? ”,“ 则 I/O 〇 Suspension Time 被 自动 设置 为 0， 
I/O 悬 挂 功能 被 禁用 。 此 时 若 主 机 和 阵列 之 间 的 路 径 全 部 故障 ， 多 路 径 软 件 立 即 向 上 层 
应 用 程序 报错 。 


。 I/O 晨 挂 功能 默认 为 “禁用 "状态 。 
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UltraPath for Windows Console 想 置 


。 设置 全 局 属性 (MO 下 发 重 试 参数 设置 ): 
o 通过 重 试 设置 可 以 设置 MO 下 发 失败 后 的 重 试 间隔 时 间 和 重 试 次 数 。 当 MO 在 一 
条 路 径 由 于 未 知 原因 下 发 失败 时 ， 多 路 径 软 件 会 在 原 路 径 上 重 试 。 


Global Settings x 从 


Load Balance Mode LUNTrespass FailbackDelayTime IO SuspensionTime Retry 


Retry 


In case of an W/O delivery failure, set the retry interval and retry times. 
The first three retries are executed immediately. Afer that, retries are executed based 
on the retry interval 


Retry Times: (0-128,The value is 15 bydefaull) 
Retry Interval (s) (1-120,The value is Wby defabiO 


Beset ™ 地 Cancel | Help 
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。 在 “Retry Times” 的 右 侧 输 入 框 中 ， 输 入 当 设 置 |/O 下 发 失败 后 的 重 试 次 数 。 上 默认 为 15 


NM 
/人 0o 


。 在 “Retry Times” 的 右 侧 输入 框 中 ， 输 入 当 设置 MO 下 发 失败 后 的 重 试 时 间 间 隔 。 默 认 


为 1 秒 。 
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UltraPath for Windows Console 想 置 


。 启用 /禁用 控制 器 下 与 主机 相连 的 所 有 路 径 : 
o 请 按照 如 下 顺序 “UltraPath Console->Host->Disk array->Controller” s Path 
Status” 进 入 控制 器 路 径 状 态 设置 界面 ， 启 用 或 禁用 控制 器 下 与 主机 相连 的 所 有 
路 径 。 


0 Ulrapath Console 


Gtob: Controllers Path Status 。 Regesh 
Nome Nray WN Man actur er Product Model 
SN_21624060R_ 21000072a10502_ HUASY 35500T m0 
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。 在 对 应 的 控制 器 的 右 方 下 拉 列 表 选 择 启用 或 禁用 ， 通 过 该 操作 可 以 禁用 或 启用 本 主机 
与 阵列 上 指定 控制 器 所 连接 的 所 有 物理 路 径 。 


。 将 控制 器 路 径 状态 设置 为 “禁用 ”状态 具有 危险 性 ， 禁 用 后 ， 将 不 能 单独 启用 该 控制 
器 下 任何 一 条 物理 路 径 。 


D0 3220 


UltraPath for Windows Console 配 置 


。 启用 /禁用 物理 路 径 、 重 置物 理 路 径 状态 、 路 径 健康 度 检 查 
o ”请 按照 如 下 顺序 “UltraPath Console->Host->Disk array->Physical path ” 
选择 目标 路 径 ， 点 击 右键 进行 与 物理 路 径 相关 的 各 种 操作 。 


7 Ultrapath Console 


图 Host Disable ResetPath Status ”Health Check Performance 
Wa Disk array ID Initiator Port Controller ID 
图 SN_210235G6GRZ 四 | 
e: Physical path 1 
二 LUN 
目 LuN 


Disable 
Reset Path Status 
Performance Monitoring 


Refresh 
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。 启用 /禁用 物理 路 径 将 主动 将 路 径 启 用 或 禁用 。 

。 重 置物 理 路 径 状 态 设 置 可 以 手动 将 路 径 的 状态 置 为 正常 状态 。 如 果 该 路 径 为 禁用 状态 
， 则 无 法 强制 将 其 设置 为 正常 状态 。 

。 路 径 健康 检查 功能 通过 下 发 测试 码 流 来 检测 路 径 的 健康 状况 。 当 用 户 发 现 路 径 降级 之 
后 ， 采 用 更 换 链 路 的 方式 进行 修复 。 然 后 可 以 通过 路 径 健康 检查 来 确认 更 换 的 路 径 是 
否 正常 工作 。 
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UltraPath for Linux 基 本 功能 配置 


er 
没 时 阵列 控制 器 状态 。 | 


Upadmin set 

pathstate={enable | disable} 设置 路 径 状 态 路 径 ID 
path_id=<ID> 

Upadmin set phypathnormal 

path_id=<ID> 手动 恢复 路 径 正常 op: sp A 入 op: sp A 入 


0: load balancing betwee, 
设置 是 否 开启 控制 器 之 间 |controllers 
均衡 l:load balancing within Getroller 
Defaultis “1” 


Upadmin set 设置 failback 扫 描 的 间隔 ime: 0~1209s, zo 即 生 效 ， 需 使 用 
failbackdelaytime=<Time> 时 站 pLinux UpdatelmGge 进 行 保 
Upadmin set iosuspensionfime=<Time> | 设置 io 悬挂 时 章 ime: 0~600s， 默 认 是 0 


Upadmin ioretry=<Number> 设置 io 重 试 次 数 和 间隔 时 INumbem 0~128 
oretrydelay=<Time> 间 ime: 和 ~T295 
oupeljebi 放 :7 轮 询 算法 
mifi-dquaue-depth: 最 小 队列 深度 
算法 汪 
in-task: 最 小 ID 负载 算法 。 


| 命令 
Upadmin set tpgstate={enable | dsoble 芭 生 隆 列 控制 器 状态 。 


Upadmin set workingmode=[011] 





。 如 果 不 修改 配置 ，UltraPath 安 装 完成 后 将 采用 默认 配置 进行 工作 。 
。 更 多 详细 配置 信息 请 参考 《OceanStor UltraPath for Linux 用 户 指南 》 
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UltraPath for Solaris 基 本 功能 设置 


padm set pathstate={enable | disable} 
path_id=<ID> 
padm set phypathnormal path_id=<ID> | 手动 置 好 一 条 物理 路 径 
padm set tpgstate={enable | disable} Re 
array id=<ID>tpg_id=<A|B|ID> 启用 /禁用 一 个 控制 器 


padm set workingmode=<ID> 设置 阵列 的 工作 模式 _ 直人 和 








padm set loadbalancemode={round- 
obin | min-queue-depth | min-task} 


设置 负载 均衡 算法 ti $e 
min-task: 最 小 ID 人 负载 


算法 。 ea 
vpadm set luntrespass={on1off} | 开启 /关闭 LUN 切 换 功 能 | AL 3 应 即 | 
padm set failbackdelaytime=<time> 置 延迟 Failback 时 间 立即 
padm set iosuspensiontime=<time> 设置 全 网 闪 断 时 间 0600 。 应 即 | 


voy mo 0 
oretrydelay=<time> 迟 时 间 到 时 | 0 ea 
padm start pathcheck [EE 
path_id=<ID1,1D2,...>} 手动 发 起 路 径 健康 度 检查 ~ km 
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UltraPath for AIX 基 本 功能 设置 


upadm help 显示 简要 帮助 信息 。 


vpadm help 


显示 简要 帮助 信息 。 ( 


Upadm show version 


Upadm show 
daemon 


Upadm show option 


cfgmgr 


| spy | 过 看 硬 鼻 的 概要 信息 。 | Spy。 | 过 看 硬 息 的 概要 信息 。| pv | 


Upadm show lun | 查看 虚拟 硬盘 的 详细 信 
[dev=hdispod 息 。 


Ispyv 


Ispath -F 





UltraPath 的 其 他 初始 化 配置 在 安装 前 已 经 包 
配置 进行 工作 。 ~ 


Ispath -F"name: _ 
parent. connectia, 





查看 UltraPath for AlIX | for AIX 守 护 进 | 令 
守护 进程 运行 状态 。 daemon 运行 状态 | 


查看 UltraPath for AlIX upadm show option| 查 
可 配置 选项 。 


OS 


pv 


大 到 右 各 列 显示 硬盘 的 
路 径 的 父 设备 、 路 径 的 





在 安装 包 中 ， 安 装 完成 后 即 会 采用 默认 


UltraPath for AIX 基 本 功能 设置 


lspath -a priority-F A 
查看 路 径 的 优先 级 属 |va/lve -| hqisk2-p 6cyd 显示 虚拟 硬盘 hdisk2 的 优先 级 
WwW 


43cdcefce0001122.0 
chdev -a Chdev -a 

Atmibute=Valve -| 配置 设备 属性 。 Qlgorithim=round robi 
Name 站 -| hdisk2 

chdev -| Name -a 

fc_er recov=tast 1O1 chdev -| scsi0-a 
chdev -| Name -Q 配置 HBA 卡 属性 。 fc em recov=fast fail 
Ayntrk=yes 


Upadm chkconfig Pr Upadm chkconfig 


Upadm set 配置 VIS 的 最 大 节点 个 Upadm set 
vismaxnode=va/lve 数 。 vismaxnode= 6 


Upadm remove 删除 虚拟 硬盘 upadm remove 删除 存储 系统 型 号 为 HW 
array=Qrray type a arraqy=HW $5300 S55300 的 虚拟 硬盘 。 
Upadm set 开启 LUN 故 障 切 换 功 Upadm set 
failover=on 能 。 failover=o/f 
odmget -q name = 网 人 
voor CUDv ”| 获取 硬盘 类 型 信息 。 
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。 UltraPath 的 其 他 初始 化 配置 在 安装 前 已 经 包含 在 安装 包 中 ， 安 装 完成 后 即 会 采用 默认 


配置 进行 工作 。 
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0D 328D0 


全 目录 


存储 与 UNIX 主 机 连接 
多 路 径 部 署 与 管理 
多 路 径 故 障 处 理 
3.1 多 路 径 安 装 失 败 问题 


3.2 多 路 径 运 行 过 程 问 题 (failover/failback 异 常 ) 
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可 题 诊 断 -Windows 


{ 孟 醒 径 本 HBA 乘 容 } 


ET TL EE 


1 多 路 径 与 iSCSI 驱动 兼容 (iSCSI initiator) | 


入 

















[ Windows 平 台 多 路 径 安装 问题 安 著 环 境 参 数 异 这 je| 9.e*e 术 安 和 














主机 设备 管理 中 Muti-Path | 
5 和 JP Supoor 拉 类 
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说 明 : 


多 路 径 安 装 失 败 问题 处 理 -Windows 


.在 注册 表 中 存在 残留 安装 信息 ， 搜 索 “UltraPath ”关键 字 的 注 
册 项 ， 删 除 注 册 表 中 UltraPath 相 关 的 键 值 。 
. 删除 当前 安装 程序 中 的 UltraPath for Windows， 安装 @Y 


系统 文件 reg.exe 丢 失 ， 在 安装 盘 SUPPORT\TOOLS 下 运 衍 
安装 时 提 Setup.exe, 资 源 工具 包 的 安装 ， 安装 reg exe 注册 表 入 库 ， 
示 reg.exe |2. 由 于 在 资源 工具 包 的 安装 过 程 中 ， 程 序 自动 将 资源 工具 包 的 路 
未 安装 径 添加 到 WindowsXP 的 “PATH” 变 量 下 ， 因 此 安装 完成 后 ， 用 


户 可 以 直接 在 DOS 命 令 行 下 运行 reg.exe; 


可 能 出 现 用 户 手动 修改 环境 变量 时 删除 了 系统 的 环境 变量 ， 在 系统 


环境 变量 Path 的 值 中 添加 


“9%SystemRoot%\system32;9%SystemRoot96;” 
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reg.exe 的 主要 功能 包括 注册 表 项 的 查询 、 添 加 、 删 除 


载 、 印 载 、 导 入 、 导 出 以 及 注册 表 项 目的 比较 和 远程 操作 等 。 


重新 安装 。 





、 复 制 、 


Wb huawel 


保存 、 还 原 、 加 


建议 : 存储 映射 主机 的 LUN 数 量 增加 ， 安 装 多 路 径 的 时 间 也 相对 增长 ,建议 在 LUN 数 量 
较 多 的 情况 下 ， 先 安装 多 路 径 再 进行 主机 映射 。 


SANboot 场景 安 |1.， 多 数 情况 属于 0S 系 统 未 安装 SP1 /SP2 补 下 各 完 安装 
装 多 路 径 出 现 蓝 SP1/SP2 补 丁 以 后 再 安装 多 路 径 。 

屏 或 其 他 环境 出 | 2， 如果 系 统 已 经 安装 SP1/SP2 补 丁 ， 则 需要 分 析 监 屏 时 产生 
现 蓝屏 的 MEMERY.DMP 文 件 ， 确 认 蓝屏 发 生 的 原因 
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多 路 径 安装 失败 问题 诊断 -Linux 





多 路 径 与 HBA 兼 容 
兼容 性 问题 jj 多 路 径 与 操作 系统 兼容 } 

















Linux 平 台 多 路 径 安装 问题 


























多 路 径 安装 失败 问题 处 理 -Linux * 


安装 时 提示 多 路 


兰 已 安装 该 主机 已 经 安装 了 多 路 径 ， 先 卸载 再 安装 。 


使 用 光盘 安装 报 | 1， 将 光盘 中 的 多 路 径 安装 包 拷贝 到 0S 系 统 其 名 目录 下 。 


错 ， 提 示 找 不 到 和 、 。 加 
壮 鸣 |2， 将 小 写 的 路 径 名 称 修改 为 正确 路 径 名 《区 分 大 小 写 ) ， 
安装 源 (安装 路 再 重新 安装 。 


径 问题 ) 

查 多 各 径 安装 各 E 头 ， /— 
安装 时 提示 安装 see 执行 dos2unix 
或 者 重新 获取 原始 格式 的 多 路 径 塘 装 包 。 
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。 该 主机 已 经 安装 了 多 路 径 ， 先 和 抒 载 再 安装 。 
1. 执行 rpm -q UltraPath 查 询 已 安装 的 多 路 径 版 本 。 
2， 印 载 旧版 本 的 多 路 径 。 例 如 ,AN 执行 [pm -e UltraPath。 
3， 安装 新 版 本 的 多 路 径 。 例 如 ， 执 行 rpm -ivhUltraPath*.rpm。 
4. 如 果 不 能 解决 问题 ， 执 行 /Pme-e -qllImatches XXX.rpm ,清除 与 多 路 径 相关 
的 文件 ， 重 新 安装 。 
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多 路 径 安装 失败 问题 处 理 -Linux 


， 查看 /bootygrub/menu.lst 文 件 中 ， 确 定 存在 多 路 径 启 
动 选项 “Linux with UltraPath” 并 且 defawlt 的 值 指向 
该 多 路 径 启 动 选 项 “Linux with UltraPath”(。 如 果 
不 是 ， 则 先 扼 载 掉 多 路 径 ， 修 改 /bootxgrub7menu.lst 
把 default 的 指向 值 改 为 default 0, 令 再 重新 安装 多 路 
径 。 

.确定 /boot/grub/menu.lst 文 件 中 全 "Linux with 
UltraPath” 启动 项 中 “initrd (hd0,5)boot/mpp-***- 
smp.img” 中 的 文件 “mpp<***-smp.img” 在 本 地 硬 
盘 的 /boot 目 录 下 存在 。 
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失败 问题 诊断 -AIX 


, 莱 容 任 问 题 |e( 检 查 兼 容 位 列表 ， 是 否 存在 兼容 性 问 是 


一 /下 于 下 Wbm 用 户 被 屏 匡 
Aix 平 台 多 路 径 安装 问题 | 安装 失败 bin 用 户 被 屏蔽 


跳 过 bostboGt 验 证 检查 


bostboot 验 证 未 通过 /© 二 二 
安装 多 路 径 





AN 
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多 路 径 安 装 失 败 问题 处 理 -AIX 


. 检查 /etd/passwd， 去 掉 “#bin:*:8:2::/bin:/usr/bin/ksh” 的 
安装 失败 ，bin 用 # 
户 被 屏蔽 ° © 
. 没有 bin 用 户 时 ， 需 手动 添加 bin 用 户 。 
跳 过 bosboot 校 验方 式 安装 
. 将 /usr/sbin/ 下 备份 bosboot 文 件 为 bosboot.bak 收 改 
bosboot 在 第 二 行 添加 exit 0 
2. 成功 安装 多 路 径 以 后 ， 恢 复 bosboot 文 件 。 
参见 案例 。 


bosboot 验 证 未 通 
过 
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多 路 径 安装 失败 诊断 总 \ 


。 对 于 多 路 径 安 装 失 败 ， 务 必要 有 正确 的 诊断 思路 : 
o 首先 确认 是 否 存在 兼容 性 问题 。 
o 根据 多 路 径 安 装 失 败 提示 ， 检 查 05 系 统 环境 和 配置 参数 。 
o 查看 多 路 径 安装 日 志 信 息 ， 查 看 安装 日 志 信息 诊断 。 


o 参考 多 路 径 升级 指导 书 〈 一 般 在 多 路 径 软 件 包 中 有 多 路 径 升 级 
) ， 制 定安 装 方案 以 及 安装 失败 时 的 补救 措施 。 
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多 路 径 安 关 失败 案例 


。 描述 问题 
o AIX 主 机 ， 安 装 多 路 径 软件 时 提示 如 下 错误 : 
0503-409 installp: bosboot verification starting... 


0503-497 installp: An error occurred during bosboot verification 以 


processing. 
ERROR:install failed! please according to error info to check! 
。 解决 办 法 
o 跳 过 bosboot 校 验方 式 安装 ， 将 /usrsbim/ 下 备份 bosboot 文 件 为 
bosboot.bak, 修 改 bosboot ， 在 第 二 行 添加 exit 0， 成 功 安装 多 路 径 以 后 
， 恢 复 bosboot 文 件 。 
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原因 分 析 
o bosboot 验 证 未 通过 ， 该 命令 用 于 保存 磁盘 的 设备 配置 数据 .“posboof: /unix 


and /usrMVlip/boofunix musflink to the same kernelfile.”, 即 /unix 和 
/usr/lib/boot/unix 指 向 的 必须 是 同一 内 核 文件 ， 经 检查 ”/unix “链接 到 
“/usr/lib/boot/unix_64/unix”。 而 ”文件 /Usr/lib/boot/unix_64/uUnix does 
Not exisf” . 


全 目录 ， 


存储 与 UNIX 主 机 连接 


3.2 多 路 径 运 行 过 程 问题 (failover/failback 异 常 ) 
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行 过 程 问题 诊断 -Failover 





| 徐 砍 同一 不 LUN 取 射 给 了 多 台 主 机 ) 
| 入 古 多 妇科 的 链 路 和 带 交 态 | 





频繁 failover 操 作 








多 路 径 failover 异 常 
检查 HBA 卡 、 交 换 端口 、 存 储 主 





人 
加 [页 下 一 系 铺 五 翼 壳 ]3| 检查 存储 控制 器 状态 
和 oo 检查 故障 路 径 控制 器 下 

















,etchiscsicon 人 文件 参数 配置 不 合理 } 
| 检查 open-iscsi 驱 动 版 本 | 








多 路 径 Failover 失 败 处 理 步 又 


解决 方案 


同一 LUN 映 射 给 了 多 人 台 主 机 ， 导 致 多 路 径 频 切换 ， 在 集群 
和 双 机 环境 下 人 允许 LUN 映 射 给 主机 组 (映射 给 多 台 主 机 ) 。 


ISM 上 删除 LUN 对 应 的 所 有 映射 ， CT 
台 主 机 。 


. /etdiscsi.conf 文 件 中 配置 不 正确 ， 检 查 /etdYiscsiieonf 中 
是 否 有 以 下 设置 ， 默认 情况 没有 。 
ConnFailTimeout=1 


. Open-iscsi 为 驱动 版 本 不 正确 ， 更 新 open-iscsi 为 最 新 版 
本 。 
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多 路 径 Failover 失 败 案 例 


。 描述 问题 
o Linux 主 机 ， 对 LUN 进 行 /O 操 作 时 ， 了 映射 给 本 主机 的 每 个 LUN 上 
都 有 IO 操作，A 控 制 器 上 的 网 线 断 开 ，IO 〇 被 挂 住 ， 归 属 A 控 的 
LUN 未 成 功 failover 到 B 控 。 以 


。 分 析 原 因 
o_iSCsI 的 配置 文件 选项 有 错误 ， 导 致 断 线 后 jscsi 启 动 器 会 不 断 重 
试 。 
。 解决 办 法 
o 在 /etc/iscsi.conf 文 件 中 检查 并 添加 配置 信息 
:ConnFalilTimeout= 1 
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过 程 问 题 诊 断 -Failback 


{HBA 卡 状态 } 
链 路 没有 完全 恢复 故障 je 交换 端口 状态 | 
上 看 人 到 制 可 和 主机 接口 状态 ) 














HBA 卡 故障 恢复 failback 失 败 本 了 和 ， 帮 亲 于 加 隐 生 ) 








多 路 径 failback 异 常 光纤 拔 插 后 failback 失 败 | = = “~ 





控制 器 重新 上 电导 致 failback 异 常 rm 发 现 设备 } 











LUN 失 效 恢 复 后 failback 失 败 |9d 查看 LUN 的 ReportedMis We 执行 hot_add | 
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多 路 径 Failback 异 常 分 析 和 处 理 步 又 


主机 频繁 检查 同一 LUN 映 射 给 了 多 台 主 机 ，ISM 上 删除 LUN 对 应 
Failback 的 所 有 映射 ， 将 LUN 只 映射 给 一 台 主 机 。 


控制 器 重新 上 | 上 电 的 控制 器 没有 向 主机 上 报 LUN 人 信息， 查看 刚 小 电 控 
2 | 电 failback 失 ”| 制 器 上 是 否 有 路 径 ， 如 果 没 有 则 执行 hot_adg 扫 盘 操 


败 

LUN 失 效 恢复 LUN 失 效 恢 复 后 ， 没 有 向 主机 上 报 &UN 人 信息， 在 主机 侧 

3 failback 失 败 查看 LUN 的 ReportedMissing 的 标志 倍 ， 确 认 标志 位 为 
Y， 执 行 hot_add 扫 盘 操 作 。 
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多 路 径 运 行 过 程 问 题 案 例 分 享 -Failback 


。 描述 问题 


o Linux 主 机 SAS 组 网 环境 ，A、B 都 有 映射 LUN， 对 所 有 


LUN 进 行 VO 操 作 。 复位 A 控制 器 ， 控 制 器 下 电 后 5 
ee 
有 failback。 


。 解决 办 法 


o 确认 A 控制 器 上 电 成 功 后 ， 在 主机 侧 执 每 hot_add 重 新 


生成 物理 路 径 ， 发 现存 储 设备 LUN。 
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。 分 析 原 因 


oo YA 驱动 使 用 了 热 插 拔 机 制 ， 
电 时 由 于 物理 链 路 的 恢复 和 控制 器 完全 上 电 有 时 间 差 ， 
多 路 径 在 规定 的 时 间 没 有 检测 到 正常 恢复 的 物理 路 径 ， 没 有 启动 foilpack。 


A 
径 ， 





当 控 制 器 下 电 后 物理 路 径 会 被 删除 ， 但 当 控 制 器 上 
导致 没有 重新 生成 物理 路 


0 3 0 


多 路 径 运 行 过 程 问 题 诊 断 总 结 


。 对 于 多 路 径 运行 过 程 中 问题 ， 务 必要 有 正确 的 诊断 思路 : 
o 首先 确认 主机 侧 物理 LUN 和 虚拟 LUN 的 个 数 是 否 正确 。 
o 检查 主机 和 存储 设备 之 间 LUN 映 射 关系 是 否 正确 。 
o iSCS| 或 者 HBA 卡 驱动 版 本 是 否 正确 。 ~ 


o 检查 iSCSI 的 配置 文件 选项 是 否 正确 。 
o 收集 日 志 信息 诊断 。 
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上 
diskMap 
n 
显示 虚拟 LUN 详 细 信 息 。 
查询 多 路 径 配 置信 息 


upadm.exe show wa 
nlo 


Upadm show 
version 


所 有 映射 的 LUN 信 


/CS 本 


息 
Upadm show vlIup 志 查询 指定 LUN 的 信 


id=<ID1,ID2,...> 


局 


查看 当前 LUN 切 换 
功能 的 状态 
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Linux 平 台 下 Ultrapath 常 用 命令 


Liunx 常 用 命令 列表 
命令 | 天 
upesm | 查看 设备 序列 号 信息 
upadmhelp | 查看 简要 帮助 信息 
检查 系统 相关 配置 。 


paam how pathn ”| 吉 看 中 径 信息 . 


如 
A 


马 
5 
0 
Pa 
E>] 


c 

总 

Q 

Q 

3 

= 

0 
5 

6 


查看 管理 的 阵列 信息 。 
查看 版 本 信息 


Upadm show version 


查看 连接 到 服务 器 上 的 所 有 存储 系统 信息 


UP 
array=array_id{lun=lun_id 查看 IO 〇 性 能 统计 


0 


adm chconfig 

adm show path 
adm show array 
adm show iostat 


interval=se conds} 
Upadm start hotscan 动态 识别 LUN 
Upadm start failback 手动 启动 Failbalck 功 能 


强制 切换 UN 的 工作 控制 器 为 归属 控制 器 
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AIX 平 台 下 Ultrapath 状 态 查 询 命令 ， 


AIlX 平 台 下 Ultrapafth 状 态 查 询 命令 


Upadm help 显示 简要 帮助 信息 。 
Upadm show version 查询 软件 版 本 信息 。 


upadm show daemon 查询 守护 进程 运行 状态 。 





人 查看 虚拟 硬盘 的 详细 信息 。 
Ispath -F 查看 硬盘 的 路 径 信息 二 
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思考 题 


1. 主机 在 任何 情况 下 都 需要 安装 多 路 径 软件 吗 ? 
2. UltraPath 可 以 有 哪 几 种 负载 均衡 模式 ? 
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@ 总 结 


。 主机 操作 系统 与 存储 的 连接 
。 UltraPath 多 路 径 在 各 操作 系统 的 部 署 与 管理 
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@ 习题 


。 判断 题 


1. 主机 HBA 自 带 failover 功 能 可 以 和 Ultrapath 的 failover 功 能 共同 工作 (Tof 日 


。 单 选 题 


1. AIX 检 查 网 卡 IP 地 址 使 用 命令 是 ? ( 


A. lsdev -Cc if 


B. ifconfig—a 
C. smitty chinet 


D. smitty device 
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从 
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代 
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< 
lo 


2， 


HC120910005 
统一 存储 系统 故障 诊 
断 与 排除 
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圈 目 标 


。 学 完 本 课程 后 ， 您 将 能 够 : 


o 熟悉 统一 存储 系统 故障 处 理 原则 ， 流 程 和 方法 
o 熟悉 SAN 存 储 故 障 诊断 思路 和 处 理 方 法 
o 熟悉 VIS 存 储 故 障 诊断 思路 和 处 理 方 法 
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@ 目录 


1. 故障 诊断 原则 ， 流 程 和 方法 
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故障 诊断 原则 


“外 部 设备 问题 包括 光纤 、 光 缆 、 客 户 设备 和 断 电 等 问题 。 
* 内 部 问题 包括 硬盘 、 控 制 器 、 接 口 模块 等 问题 。 








“重要 : 对 设备 产生 部 分 影响 或 者 对 系统 性 能 造成 影响 ， 需 要 采取 纠正 措施 :以 防 


“警告 : 对 设备 没有 影响 ， 系 统 检测 到 潜在 的 或 者 即将 发 生 的 影响 业务 的 故障 ， 且 


“ 紧急: 已 经 造成 客户 业务 中 断 或 者 可 能 引起 设备 不 可 用 的 故障 ， 需 要 立即 妥 取 特 负 


施 修复 。 
止 更 严重 的 故障 的 发 生 。 所 有 硬件 类 型 的 故障 均 属于 该 级 别 。 


当前 还 没有 影响 业务 。 





i 应 先 分 析 是 个 别 问题 还 是 共性 问题 ， 确 定 问题 的 影响 范围 。 
“需要 确定 是 一 个 模块 出 问题 ， 还 是 多 个 模块 出 现 类 似 间 题 。 
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。 先 诊断 外 部 因素 、 后 诊 断 内 部 因 守 诊 帆 议 9 风 应 先 排除 外 部 的 可 能 因 案 。 训 电源 中 


断 、 对 接 设备 
。 先 诊断 网 络 、 后 诊断 网 元 : 根据 网 络 拓扑 图 ， 分 析 网 络 环 境 是 否 正常 、 互 连 设备 是 


生 故 障 ， 尽 可 能 准确 定位 出 是 网 络 中 哪个 环节 发 生 故 障 。 


。 a a a an 首先 分 析 高 级 别 的 告 
、 重 要 告 已 警 , 然后 分 析 低 级 别 的 告 告警 茵 ， 如 提示 告 百 言 警 。 


急 告 


汉口 吾 警 


鳌 


否 发 


， 如 紧 


故障 诊断 流程 ， 


。 故障 诊断 是 指 利用 合理 的 方法 ”一 一 一 2 
， 逐 步 找 出 产生 故障 的 原因 并 
解决 故障 ， 其 基本 思想 是 将 可 
能 的 故障 原因 所 构成 的 大 集合 
缩减 (或 隔离 ) 为 若干 个 小 的 
子 集 ， 从 而 使 问题 的 复杂 度 下 
降 。 
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故障 诊断 是 指 利用 合理 的 方法 ， 逐 步 找 出 产生 故障 的 原因 并 解决 故障 ， 其 基本 思想 是 将 
可 能 的 故障 原因 所 构成 的 大 集合 缩减 〈 或 隔离 ) 为 若干 个 小 的 子 集 ， 从 而 使 问题 的 复杂 度 
下 降 。 


故障 诊断 前 准备 ， 步 又 如 下 : 
1. 登录 ISM 存 储 管理 软件 。 
2. 确认 SAN 控 制 框 部 件 的 指示 灯 是 否 显示 部 件 出 现 异常 ， 指 示 灯 的 详细 信息 。 
3. 如 果 刚 在 SAN 控 制 框 上 责 换 了 部 件 ， 并 且 SAN 控 制 框 无 法 运行 ， 拆 卸 该 部 件 并 重新 安装 。 
故障 诊断 流程 包括 收集 信息 、 判 断 故 障 、 定 位 故障 和 排除 故障 。 


0D 361D0 


。 故障 信息 


362 品 


收集 的 信息 包括 但 不 限于 以 下 内 容 : 


故障 诊 


。 全 面 、 


5 收集 途径 : 故障 


乡 断 步 又 1--- 收 集 信息 


完整 的 故障 信息 有 利于 缩小 判断 故障 的 范围 ， 加 快 判 断 、 定 位 故障 
的 速度 和 准确 性 ， 提 高 排除 故障 的 效率 。 

。 故障 诊断 中 信息 收集 主要 考虑 两 方面 的 内 容 : 
o 收集 对 象 : 所 需要 收集 的 信息 范围 。 

a ”硬件 和 软件 版 本 
a 故障 时 间 、 周 期 
= 故障 前 的 操作 等 


。 用 户 的 故障 申告 
。 巡 检 中 发 现 的 异常 
。 设备 状态 信息 、 日 志 信 息 


言 息 的 来 源 。 
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o ”故障 现象 、 设 备 的 硬件 和 软件 版 本 
o 故障 时 间 、 周 期 
o 故障 发 生 之 前 和 故障 发 生 时 的 操作 

o 故障 发 生 时 设备 的 输出 信息 y 日 志 信息 和 告警 信息 
o 故障 发 生 后 采取 的 措施 


来 源 有 下 面 凡 个 : 


o 用 户 或 客户 服务 中 心 的 故障 申告 


口 


口 


口 


在 日 常 维护 或 巡 检 中 发 现 的 


应 用 服务 器 的 故障 通告 


操作 设备 时 获 
行 导 


得 的 设备 状态 信息 
出 的 调试 信息 


异常 (包括 ISM 查 询 到 的 


、 日志 信息 


告警 信息 ) 





Mb huawel 


故障 诊断 步骤 2--- 判 断 故 障 : 


。 在 获取 充分 的 故障 信息 后 ， 初 步 判 断 故 障 的 范围 和 种 类 。 
5 确定 故障 的 范围 
。 所 有 业务 发 生 故障 
。 部 分 业务 发 生 故障 


5 确定 故障 的 种 类 
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。 确定 故障 的 范围 
o 确定 控制 框 故障 范围 时 需 区 分 以 下 2 种 情况 : 
" 所 有 业务 发 生 故 障 : 需 进 让步 了 解 应 用 服务 器 是 否 同 时 发 生 故 障 。 


" 部 分 业务 发 生 故 障 :( 需 进一步 了 解 故障 业务 类 型 及 其 在 应 用 服务 器 上 的 分 
布 情况 ， 其 他 业务 是 否 同 时 发 生 故 障 。 


。 确定 故障 的 种 类 


o 确定 故障 的 种 类 ， 即 确定 故障 属于 哪 种 类 型 。SAN 控 制 框 的 故障 种 类 通常 根据 其 不 
同 的 功能 模块 进行 划分 。 


DD 363 0 


故障 诊断 步骤 3--- 定 位 故障 ， 


。 定位 故障 : 
o 指 从 众多 可 能 原因 中 找 出 该 单一 原因 的 过 程 ， 通 过 分 析 、 比 较 各 种 可 能 的 故障 
原因 ， 不 断 排 除 不 可 能 因素 ， 最 终 确定 故障 发 生 的 具体 原因 。 
。 定位 故障 的 重要 性 : 


o 准确 而 快速 的 定位 有 利于 提高 排除 故障 的 效率 ， 并 有 效 避 免 因 盲目 操作 设备 而 导 
致 故障 等 级 增 大 等 人 为 事故 的 发 生 。 
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定位 故障 为 排除 故障 提供 指导 和 参考 。 

故障 的 产生 在 某 一 具体 时 刻 具 有 单一 性 ， 这 一 特点 决定 了 定位 故障 的 基本 方法 。 定 位 
故障 是 指 从 众多 可 能 原因 中 找 出 该 单一 原因 的 过 程 ， 通 过 分 析 、 比 较 各 种 可 能 的 故障 原因 ， 
不 断 排 除 不 可 能 因素 ， 最 终 确定 故障 发 生 的 具体 原因 。 


准确 而 快速 的 定位 有 利于 提高 排除 故障 的 效率 ， 并 有 效 避 免 因 盲目 操作 设备 而 导致 故 
障 等 级 增 大 等 人 为 事故 的 发 生 。 


故障 诊断 步骤 4--- 排 除 故 障 : 


排除 故障 : 
o 指 采取 适当 的 措施 或 步骤 清除 故障 、 恢 复 系 统 的 过 程 。 
基本 方式 : 

检修 线路 


更 换 部 件 
修改 配置 数据 
复位 系统 
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排除 故障 是 指 采取 适当 的 措施 或 步骤 清除 故障 、 恢 复 系 统 的 过 程 ， 如 检修 线路 、 更 换 
部 件 、 修 改 配置 数据 、 复 位 系统 等 。 


排除 故障 过 程 中 ， 请 详细 记录 每 一 步 操 作 以 及 产生 的 结果 、 现 象 。 
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一 /~ 、 和、 一 外 

故障 定位 的 方法 - 告警 信息 分 析 法 
当 系统 发 生 故 障 时 ， 一 般 会 伴随 有 大 量 的 告警 信息 产生 ， 通 过 查看 
告警 信息 并 配合 对 性 能 数据 的 分 析 ， 可 大 概 判 断 出 所 发 生 故 障 的 类 
型 和 位 置 。 
通过 分 析 告警 ， 可 以 定位 故障 的 具体 部 位 或 原因 ， 也 可 以 配合 其 他 
方法 定位 故障 原因 。 
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能 够 正常 收集 到 告警 信息 的 情况 下 从 告警 分 析 法 适用 于 定位 任何 故障 。 


故障 定位 的 方法 - 替换 法 \ 


。 替换 法 
o 使 用 一 个 工作 正常 的 部 件 去 替换 一 个 怀疑 工作 不 正常 的 部 件 ， 从 而 达到 
定位 故障 、 排 除 故障 的 目的 。 
We 


。 替换 法 的 优势 
o 可 以 将 故障 定位 到 较 细 的 位 置 
o 对 维护 人 员 的 要 求 不 高 ， 是 一 种 比较 实用 的 方法 。 
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应 用 场景 


替换 法 适用 于 硬件 故障 的 处 理 ， 往 往 可 以 快速 准确 的 定位 出 发 生 故 障 的 部 件 ， 并 且 对 
维护 人 员 没 有 特别 的 要 求 。 使 用 替换 法 的 局 限 在 于 事先 必须 准备 相同 的 备件 ， 因 此 要 求 进 
行 较 充 分 的 前 期 准备 工作 。 
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约 目录 


2. SAN 存 储 故 障 处 理 思 路 和 方法 
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全 AN) 

国 35600r 
NF 
Ri 
的 设备 信息 ， 

并 
的 5 归 及 








rp Pe 


杖 本 本 时 吴 半 二 名 二 下 十 由 1 二 和。 网 动 中 长 吉 


章 估 六 允 隐 
运行 杖 态 : 输入 和 近 党 
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在 SM 管 理 界 面 下 的 设备 信息 页 面 可 以 直观 的 查看 各 个 硬件 模块 的 运行 状态 ， 以 上 图 
为 例 : 被 红 框 圈定 的 电源 模块 的 健康 状态 为 故障 。 


0D 369 0 


和 JRC 

国 SN_21023506EBZ1 

EF 
[ED 

全 设备 信息 
后 让 好 单元 

Se 操 壕 发 本 时 间 

ME CS 主机 注 口 (控制 委 0 接口 模块 61, 油 口 。 2013-12-10 093800 UTC-0800 


撞 口 模块 

加 Wo CS 主机 注 口 《控制 各 0 接口 模块 A1,， 而 口 、 2013-12-10 093303 UTC-0800 

be 殉 盘 
CE S PE 了 主机 (主机 名 compulerCiluster01) 上 未 安装 ”2013-12-04 101427 UT 


4 主轴 《主机 名 compulerCluster02) 上 未 安装 2013-12.04 10.263 


GN SN_210235 。 0xE23E0004 ”主轴 (主机 各 Host001) 上 来 安装 UiwaPath 多 。 2013-12-03 100630 UTC*08.00 
也 块 相 寻 过 
@ smancace 








到 请 口 情 志 “ 
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在 ISM 管 理 界面 的 右上 方 可 以 看 到 各 个 告警 级 列 的 告警 数量 ， 直 接点 击 相应 的 故障 级 
别 图 标 可 以 打开 事件 管理 界面 ， 在 界面 中 可 以 看 到 所 有 详细 告警 信息 。 
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图 SN_210235G6EBZ(^ 


本 RM 
B® RE 
[的 设备 全息 
全 和 个 单 元 
= 
号 按 8 
多 接口 模块 
m0 
总 证 各 
0 
BLN 
加 块 存 寻 连 
目 Smarcache 
[rr 
[EL 
国 S55007 
起 本 村 手 
FR 
[的 设备 信息 
全 让 好 单元 
一 日 


加 按 制 如 
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安全 

用 户 管理 

才 认 证 服务 若 设 置 
本 访问 PP 好 址 管理 


事件 日 志 
事件 着 知 设置 
事件 针 包 

Trap IP 地 址 管 于 


性 能 监控 

到 和 手 戈 芒 接 

章 看 历史 点 控 数据 
性 弯 故 控 设 置 

性 能 吉 区 出 值 议 置 

性 苞 监 控 文 件 转 奸 设 轩 
性 恋 监 皖 文 件 管理 
合并 监控 福 件 

功 科 查看 


高 级 

可 村 :SNS 舱 务 
(3 
软件 升 友 
WT 

课 玛 接 计 

系 经 节 丰 计生 
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在 系统 配置 界面 的 导入 导出 部 分 可 以 对 配置 交 件 ， 运 行 数 据 和 系统 日 志 进行 导出 。 


0D 371D0 


故障 处 理 一 般 进 程 


观察 并 记录 指示 灯 状 态 
登录 ISM 管 理 界面 

根据 事件 处 理 建议 处 理事 件 
定位 故障 产生 的 原因 

收集 故障 信息 
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故障 处 理 通常 分 为 : 了 解 故障 概况 、 收 集 信息 、 分 析 原 因 、 故 障 处 理 、 验 证 恢复 等 几 
个 进程 。 
。 观察 并 记录 指示 灯 状 态 
。 观察 并 记录 指示 灯 的 状态 ， 通 过 指示 灯 的 状态 初步 判断 发 生 故障 的 模块 。 
。 存储 系统 的 各 部 件 指示 灯 状 态 ,“ 请 参见 产品 硬件 描述 
。 登录 ISM 管 理 界面 
。 登录 SM 管理 界面 ， 可 以 查询 存储 系统 的 运行 状态 ， 以 及 是 否 有 事件 产生 。 
。 根据 事件 处 理 建议 处 理事 件 


o 如 果 在 ISM 管 理 界 面 中 查询 到 事件 信息 ， 则 根据 ISM 管 理 界 面 提供 的 事件 处 理 建议 处 
理事 件 。 


。 定位 故障 庆生 的 原因 


o 定位 故障 是 指 从 众多 可 能 原因 中 找 出 故障 发 生 的 具体 原因 的 过 程 。 可 通过 分 析 、 比 
较 各 种 可 能 的 故障 原因 ， 不 断 排除 不 可 能 因素 ， 最 终 确 定 故障 发 生 的 具体 原因 。 


。 收集 故障 信息 


o 遇 到 难以 确定 或 解决 的 问题 时 ， 请 您 联系 华为 技术 有 限 公司 客户 服务 中 心 。 同 时 ， 
在 向 华为 技术 有 限 公司 工程 师 反馈 问 题 前 ， 请 注意 收集 故障 处 理 所 需 的 相关 信息 。 
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SAN 存 储 阵 列 故障 诊 此 ， 


存储 单元 硬盘 框 离线 
存储 单元 电源 模块 故障 
RAID 组 降级 

RAID 组 故障 

虚拟 快照 故障 
LUN 拷 贝 故 障 

资源 LUN 故 障 

应 用 服务 器 无 法 扫描 到 LUN 
FC 链 路 异常 

iSCSI 链 路 异常 
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0 


存储 单元 硬盘 框 离线 诊断 思路 


硬 益 框 异常 


ei 将 硬 答 框 上 电 


拔 插 或 更 换 
级 联 线 绕 


存在 未 知 错误 ， 请 联系 
技术 支持 工程 师 进 行 定位 
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硬盘 框 离线 ， 将 导致 存储 系统 无 法 使 用 硬盘 框 十 的 存储 资源 ， 所 有 相关 的 功能 和 特性 均 
不 能 使 用 。 
。 现象 描述 

硬盘 框 已 经 通过 级 联 线 绕 连接 到 控制 框 ， 登 录 ISM 可 以 发 现存 储 系统 。 但 是 在 SM 导航 
树 上 ， 选 择 “ 所 有 设备 > SN_XX> 设备 信息 ” (SN_XX 表 示 正 在 管理 的 存储 系统 名 称 ) ， 
在 右 侧 的 信息 展示 区 选择 存储 单元 查看 到 级 联 的 硬盘 框 有 错误 01_ 苞 F 储 系统 侧 查看 
硬盘 框 的 电源 指示 灯 灭 或 mimisASs 级 联 端口 指示 灯 灭 。 


。 告警 信息 


在 SM 菜 单 栏 上 ， 选 择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 中 ， 可 以 看 
到 “硬盘 框 离线 "的 故障 信息 。 
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存储 单元 硬盘 框 离线 处 理 步 又 \ 


1. 检 查 硬盘 框 电 源 指示 灯 是 否 亮 绿 色 。 
2 检查 外 部 电源 供电 是 否 正常 。 

3 .请 与 相应 维护 单位 联系 处 理 外 部 电源 问题 。 处 理 完毕 后 , 在 ISM 
管理 界面 中 是 否 可 以 看 到 级 联 的 硬盘 杠 。 

4 拔 播 硬盘 框 电源 线 。 以 


5. 待 硬盘 框 上 电 完 成 后 ， 在 ISM 管 理 界面 中 是 否 可 以 看 到 纹 联 的 硬 
盘 框 。 
1. 观 察 存储 系统 上 与 硬盘 框 相 连 的 级 联 端口 link 指 示 灯 是 否 亮 蓝 
色 。 
级 联 线 缆 连 | 2. 在 ISM 管 理 界面 中 ， 观 察 连 接 硬盘 框 的 级 联 端 及 的 “运行 状态 ” 
六 个 下 营 避 | 是 否 显示 为 “未 连接 ”。 
帮 障 ” ” ”| 3. 拔 插 或 更 换 级 联 线 绕 。 
4. 操 作 完成 以 后 ， 相 应 级 联 端 口 link 指 示 灯 是 否 亮 蓝 色 且 在 5M 管 
理 界面 中 可 以 看 到 级 联 的 硬盘 只 
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。 针对 硬盘 框 异常 断 电 
1. 检 查 硬盘 框 电源 指示 灯 是 否 亮 绿 色 。 
是 => 原因 2。 否 => 步骤 2。 
2. 检 查 外 部 电源 供电 是 否 正常 。 
是 => 步骤 4。 否 => 步骤 3。 


3. 请 与 相应 维护 单位 联系 处 理 外 部 电源 问题 。 处 理 完毕 后 ， 在 ISM 管 理 界面 中 是 否 可 以 
看 到 级 联 的 硬盘 框 。 


是 => 处 理 完毕 。 否 六, 步 又 4。 
4. 拔 插 硬 盘 框 电源 线 。 
5 . 待 硬盘 框 上 电 完 成 后 ; 在 ISM 管 理 界面 中 是 否 可 以 看 到 级 联 的 硬盘 框 。 
是 => 处 理 完毕 > 否 => 原因 2。 
。 针对 级 联 线 比 连接 不 正常 或 者 级 联 线 绕 故障 
1 .观察 存储 系统 上 与 硬盘 框 相连 的 级 联 端 口 ink 指 示 灯 是 否 亮 蓝 色 。 
是 = 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 否 => 步 又 2。 
2 在 SM 管理 界面 中 ， 观 察 连接 硬盘 框 的 级 联 端口 的 “运行 状态 ”是 否 显示 为 “未 连接 





是 => 步骤 3。 否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
3. 拨 插 或 更 换 级 联 线 缆 。 


4. 操 作 完 成 以 后 ， 相 应 级 联 端口 link 指 示 灯 是 否 亮 蓝 色 且 在 ISM 管 理 界 面 中 可 以 看 到 级 联 
的 硬盘 框 。 


是 => 处 理 完毕 。 否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 站 莹 全 


存储 单元 电源 模块 故障 诊断 思路 


电源 模块 故障 


根据 “电源 模块 故障 ” 
告警 进行 处 理 


存在 未 知 错误 ， 请 联系 
技术 支持 工程 师 进 行 定位 
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电源 模块 故障 ， 可 能 会 导致 存储 系统 可 靠 性 降低 、 读 写 性 能 下 降 等 问题 。 
。 现象 描述 

在 SM 导航 树 上 ， 选 择 “ 所 有 设备 > SN_XX > 设备 信息 ” (SN_XX 表 示 存 储 系统 的 名 称 
) ， 在 右 侧 的 信息 展示 区 选择 存储 单元 。 单 击 电源 图 标 ， 在 “电源 属性 ”对 话 框 中 ， 可 以 
看 到 电源 的 “健康 状态 ”显示 为 “故障 ”。 

在 存储 系统 侧 电 源 运行 /告警 指示 灯亮 红色 。 
。 告警 信息 

在 ISM 菜 单 栏 上 ， 选 择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 中 ， 可 以 看 
到 电源 模块 故障 信息 。 


0D 3760 


RAID 组 降级 诊断 思 。 


RAID 组 成 员 
盘 坡 符 接 ? 


更 换 使 盘 ， 等 竺 


RAID 组 成 员 私 故障? 器 描 或 重 构 完成 


存在 未 知 故 障 ， 请 联系 
技术 支撑 工 和 9 
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RAID 组 降级 可 能 会 导致 存储 系统 业务 中 断 、 侠 写 性 能 下 降 、 数 据 不 一 致 或 数据 丢失 等 
问题 。 


。 现象 描述 


在 ISM 导 航 树 上 ， 选 择 “ 所 有 设备 守 3N_XX > 存储 资源 > 块 存储 池 ” (SN_XX 表 示 存 储 
系统 的 名 称 ) ， 在 右 侧 的 信息 展示 区 可 以 看 到 RAID 组 的 “健康 状态 ”显示 为 “降级 ”。 


。 告警 信息 


在 ISM 菜 单 栏 上 ， 选 择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 中 ， 可 以 看 
到 RAID 组 降级 的 故障 信息 。 


D0 3770 


RAID 组 降级 处 理 步 又 


1. 在 ISM 管 理 界面 上 查看 RAID 组 成 员 盘 的 “运行 状态 ”是 否 显示 
为 “离线”。 

2. 记 录 离 线 的 RAID 组 成 员 盘 位 置 。 

3. 根 据 步骤 2 中 确认 的 成 员 盘 位 置 ， 重 新 插入 该 硬盘 并 等 待 RAID 
组 重 构 或 回 拷 完 成 。 

4. 查 看 该 成 员 盘 的 “运行 状态 ”是 否 显示 为 “在 线 ” 且 RAID 组 的 
“健康 状态 ”显示 为 “正常 ”。 

1. 查 看 RAID 组 成 员 盘 的 “运行 状态 ”是 否 显示 为 、 “正在 回 拷 ” 或 
“正在 重 构 ”。 

RAID 组 成 员 盘 | 2. 等 待 RAID 组 重 构 或 回 拷 完 成 。 

被 其 他 硬盘 蔡 | 3. 查 看 该 成 员 盘 的 “运行 状态 ”是 否 显示 为 “在 线 ” 且 RAID 组 的 

“健康 状态 ”显示 为 “正常 ”。 


RAID 组 成 员 盘 
被 拔 出 
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。 针对 RAID 组 成 员 盘 被 拔 出 
1. 在 ISM 管 理 界面 上 查看 RAID 组 成 员 盘 的 “运行 状态 ”是 否 显示 为 “离线 ”。 
是 => 步骤 2。 否 => 原因 2。 
2. 记 录 离 线 的 RAID 组 成 员 盘 位 置 。 





3. 根 据 步骤 2 中 确认 的 成 员 盘 位 置 。 重 新 插入 该 硬盘 并 等 待 RAID 组 重 构 或 回 拷 完 成 。 


4. 查 看 该 成 员 盘 的 “运行 状态 ”是 否 显 示 为 “在 线 ” 且 RAID 组 的 “健康 状态 ” 
“正常 ” 


是 => 处 理 完毕 尖 否 => 原因 2。 
。 针对 RAID 组 成 员 盘 被 其 他 硬盘 替换 
1. 查 看 RA 组 成 员 盘 的 “运行 状态 ”是 否 显 示 为 “正在 回 拷 ” 或 “正在 重 构 ”。 
步骤 24 否 => 原因 3。 
2. 等 待 RAIB 组 重 构 或 回 拷 完 成 。 
3. 查 看 该 成 员 盘 的 “运行 状态 ”是 否 显示 为 “在 线 ” 且 RAID 组 的 “健康 状态 ” 
< 党 ” 。 


=> 处 理 完 毕 。 否 => 原因 3。 


378 0 


显示 为 


显示 为 


RAID 组 降级 处 理 步 又 . 


1. 查 看 RAID 组 成 员 盘 的 “健康 状态 ”是 否 显示 为 “未 知 ” 
= “运行 状态 ” 显示 为 “故障 ” 六 
RAID 组 成 员 | 2. 记 录 发 生 故 障 的 RAID 组 成 员 盘 位 置 。 
盘 故 障 3. 更 换 该 成 员 盘 并 等 待 RAID 组 重 构 或 回 拷 完 成 。 
4. 查 看 该 成 员 盘 的 “运行 状态 ”是 否 显示 为 “在 线 
RAID 组 的 “健康 状态 ” 显示 为 “正常 ” - 
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。 针对 RAID 组 成 员 盘 故障 
1. 查 看 RAID 组 成 员 盘 的 “健康 状态 ”是 否 显示 为 “未 知 ” 且 “运行 状态 ”显示 为 “ 故 


bie 各 
障 ”。 


是 => 步骤 2。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
2. 记 录 发 生 故 障 的 RAID 组 成 员 盘 位 置 。 
3. 更 换 该 成 员 盘 并 等 待 RAiD 组 重 构 或 回 拷 完成 。 
4. 查 看 该 成 员 盘 的 “运行 状态 ”是 否 显示 为 “在 线 ” 且 RAID 组 的 “健康 状态 ”显示 为 
“正常 ”。 
是 => 处 理 完毕 。 


否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 


D0 3790 


RAID 组 故障 诊断 思路 。 


制 除 并 重新 创 
建 RAID 给 
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RAID 组 故障 ， 将 导致 存储 系统 业务 中 断 或 数据 丢失 等 问题 。 
。 现象 描述 
在 SM 导航 树 上， 选择 “所 有 设备 > SN_XX > 存储 资源 > 块 存储 池 ” (SN_XX 表 示 


存储 系统 的 名 称 ) ， 在 右 侧 的 信息 展示 区 浏览 RAID 组 信息 ， 可 以 看 到 “健康 状态 ”为 
“故障 ” 且 “ 运 行 状态 ”为 “离线 ”的 RAID 组 。 


在 ISM 菜 单 栏 上 ， 选 择 半 事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 中 ， 可 以 
看 到 RAID 组 的 故障 信息 。 


RAID 组 故障 处 理 步 又 


1. 在 存储 系统 侧 查看 硬盘 框 前 面板 上 的 电源 指示 灯 是 否 
灭 。 

2. 将 硬盘 框 重新 上 电 并 等 待 RAID 组 状态 自动 恢复 。 

3. 重 新 检查 该 RAID 组 的 “运行 状态 ”是 否 显示 为 必 在 
线 ” 8 


1. 在 I SM 管理 界面 上 查看 RAID 组 成 员 盘 的 “运行 状态 ” 
RAID 组 成 员 盘 a 
CC Ly Z 妇 
有 一 个 或 多 个 2.RAID 组 中 是 否 有 业务 数据 


被 拔 出 3. 删 除 故 障 的 RAID 组 并 重新 创建 RAIB 组 。 
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。 针对 硬盘 框 断 电 
1. 在 存储 系统 侧 查看 硬盘 框 前 面板 上 的 电源 指示 灯 是 否 灭 。 
是 => 步骤 2。 否 => 原因 2。 
2. 将 硬盘 框 重新 上 电 并 等 待 RAID 组 状态 自动 恢复 。 
3. 重 新 检查 该 RAID 组 的 “运行 状态 ”是 否 显示 为 “在 线 ”。 
是 => 处 理 完毕 。 
否 => 原因 2 。 
。 针对 RAID 组 成 员 盘 有 一 个 或 多 个 被 拔 出 
1. 在 ISM 管 理 界 面 上 查看 RAID 组 成 员 盘 的 “运行 状态 ”是 否 显示 为 “离线 ”。 
是 => 步骤 2。 
否 > 原因 3。 
2.RAIB 组 中 是 否 有 业务 数据 。 
是 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
否 => 步骤 3。 
3 删除 故障 的 RAID 组 并 重新 创建 RAID 组 。 





0D 381D0 


RAID 组 故障 处 理 步 又 。 


1. 查 看 RAID 组 中 是 否 有 两 个 或 者 两 个 以 上 (以 RAID 5 为 例 ) 
RAID 组 成 员 成 员 盘 的 “健康 状态 ”为 “故障 ”。 
盘 故 障 2.RAID 组 中 是 否 有 业务 数据 。 

B. 删 除 故 障 的 RAID 组 并 重新 创建 RAID 组 。 
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。 针对 RAID 组 成 员 盘 故障 
1. 查 看 RAID 组 中 是 否 有 两 个 或 者 两 个 以 上 (以 RAID 5 为 例 ) 成 员 盘 的 “健康 状态 ”为 
“故障 ”。 

是 => 步骤 2。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 

2.RAID 组 中 是 否 有 业务 数据 % 
是 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
否 => 步骤 3。 

3. 删 除 故 障 的 RAID 组 并 重新 创建 RAID 组 。 


0 382 0 


虚拟 快照 故障 诊断 思 


氮 氢 快照 故障 


处 理 源 LUN 故 障 


存在 未 知 错误 ， 清 联系 
技术 支持 工程 师 进 行 吓 位 
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虚拟 快照 故障 ， 可 能 会 导致 快照 数据 丢失 或 快照 不 可 用 。 
现象 描述 





Mb huawel 


在 ISM 导 航 树 上 ， 选 择 “ 所 有 设备 > SN_XX > SAN 服 务 > 快照 ” (SN_XX 表 示 存 储 系统 
的 名 称 ) ， 在 右 侧 的 信息 展示 区 浏览 虚拟 快照 的 “健康 状态 ” 
态 的 虚拟 快照 。 


告警 信息 
户 /AN 


， 可 以 看 到 处 于 “故障 ” 状 


在 SM 荣 单 栏 上 ， 选 择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 中 ， 可 以 看 
到 快照 相关 故障 信息 。 
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虚拟 快照 故障 处 理 步骤 


1. 在 IsSM 上 查看 虚拟 快照 的 源 LUN 的 “健康 状态 ”是 
否 显示 为 “故障 ”。 
2 .在 ISM 上 查看 RAID 组 的 “健康 状态 ”是 否 显 未 汶 


虚拟 快照 的 |  。，， 
源 LUN 故 障 故障 。 


3. 根 据 RAID 组 故障 进行 处 理 。 
4. 操 作 完 成 后 ， 查 看 虚拟 快照 的 “健康 状态 ”是 否 
显示 为 “正常 ” 6 
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。 针对 虚拟 快照 的 源 LUN 故 障 

1. 在 ISM 上 查看 虚拟 快照 的 源 LUN 的 “健康 状态 ”是 否 显示 为 “故障 ”。 
是 => 步骤 2。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 

2. 在 ISM 上 查看 RAID 组 的 “健康 状态 ”是 否 显 示 为 “故障 ”。 
是 => 步骤 3。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 

3. 根 据 RAID 组 故障 进行 处 理 。 

4. 操 作 完 成 后 从 查看 虚拟 快照 的 “健康 状态 ”是 否 显 示 为 “正常 ”。 
是 => 处 理 完毕 。 
否 > 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 


LUN 拷 贝 故障 诊断 思 


增 量 LUN 沙 贝 故 障 


拔 插 或 更 换 
数据 连接 线 准 


存在 未 知 错误 ， 请 联系 
技术 去 


术 支持 工程 师 进程 定位 SULUN 到 资源 池 
结束 


存 存 未 知 错 庶 ， 清 联系 
技术 支持 工程 师 进 行 定 黎 
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LUN 搁 贝 故障 ， 将 导致 所 有 与 LUN 拷 贝 相 关 的 操作 无 法 正常 执行 。 
。 现象 描述 


在 ISM 导 航 树 上 ， 选 择 “ 所 有 设备 > SN_XX > SAN 服 务 > LUN 拷 贝 ” (SN_XX 表 示 存 


储 系统 的 名 称 ) ， 在 右 侧 的 信息 展示 区 浏览 LUN 拷 贝 的 “健康 状态 ”， 可 以 看 到 处 于 “ 故 
障 ” 状 态 的 LUN 拷 贝 。 


。 告警 信息 


所 


在 NM 菜单 栏 上 ， 选 择 “ 事 件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 中 ， 可 以 
看 到 LUN 拷 贝 相关 故障 信息 。 
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LUN 揣 贝 故障 处 理 步 又 \ 


1. 在 存储 系统 侧 检 查 源 LUN 或 目标 LUN 所 在 硬盘 框 
电源 运行 指示 灯 状 态 是 否 灭 。 
令 查 “a 源 ~ 是 否 常 。 
源 LUN 或 目 2. 检 查 外 部 电源 供电 是 否 正常 
标 LUN 所 在 | 3. 请 与 相应 维护 单位 联系 处 理 外 部 电源 问题 ss 处 理 
的 硬盘 框 | ”完毕 后 ， 查 看 LUN 拷 贝 的 “健康 状态 ”是否 显示 
异常 断 电 
为 “正常 ” 
4. 拔 插 硬 盘 框 电 源 线 。 待 硬盘 框 上 电 完 成 后 ， 查 看 
LUN 拷 贝 的 “健康 状态 ”是 否 显示 为 “正常 ”。 
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。 针对 源 LUN 或 目标 LUN 所 在 的 硬盘 框 异常 断 电 
1. 在 存储 系统 侧 检查 源 LUN 或 目标 LUN 所 在 硬盘 框 电源 运行 指示 灯 状 态 是 否 灭 。 
是 => 步骤 2。 
否 => 原因 2。 
2. 检 查 外 部 电源 供电 是 否 正常 


否 => 步骤 3。 


3. 请 与 相应 维护 单位 联系 处 理 外 部 电源 问题 。 处 理 完毕 后 ， 查 看 LUN 拷 贝 的 “健康 状态 
7 是 否 显示 为 正常 ” 


是 => 处 理 完毕 。 
否 => 步骤 人 


4. 拔 插 硬 盘 框 电源 线 。 待 硬盘 框 上 电 完 成 后 ， 查 看 LUN 拷 贝 的 “健康 状态 ”是 否 显示 为 
“正常 ” 6 


是 => 处 理 完 毕 。 


否 => 原因 2。 


LUN 拷 贝 故障 处 理 步 又 


设备 间 链 路 
断 开 (适用 
于 设备 间 的 
LUN 拷 贝 ) 
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1. 在 存储 系统 侧 观 察 设备 上 相应 级 联 端口 或 主机 端口 指示 灯 

2. 确 认 该 故障 的 LUN 拷 贝 是 增 量 LUN 拷 贝 还 是 全 量 LUN 拷 见 。 

3. 查 看 连接 硬盘 框 的 级 联 端口 或 设备 间 的 链 路 两 端的 主 籽 端 
口 的 “运行 状态 ”是 否 显示 为 “未 连接 ”。 

4. 拔 插 或 更 换 断 开 的 数据 连接 线 缆 。 操 作 完 成 以 后 &_ 相应 级 
联 端 口 或 主机 端口 指示 灯 是 否 亮 绿色 ， 且 页 以 在 ISM 管 理 
界面 中 看 到 级 联 端口 或 主机 端口 的 “运行 状态 ”显示 为 

“连接 ”。 


5. 查 看 故障 的 LUN 拷 贝 的 “健康 状态 所 是 否 显 示 为 “正常 ”。 


6. 该 故障 的 LUN 拷 贝 是 增 量 LUN 拷 贝 还 是 全 量 LUN 拷 贝 。 





。 针对 设备 间 链 路 断 开 (适用 于 设备 间 的 LUN 氨 贝 ) 
1. 在 存储 系统 侧 观 察 设备 上 相应 级 联 端口 或 主机 端口 指示 灯 状 态 是 否 灭 。 


是 => 步骤 3。 否 => 步骤 2。 


2. 确 认 该 故障 的 LUN 找 贝 是 


增 量 LUN 拷 贝 还 是 全 量 LUN 拷 贝 。 


全 量 LUN 拷 贝 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
增 量 LUN 拷 贝 => 原因 3。 


3. 查 看 连接 硬盘 框 的 级 联 端口 或 设备 间 的 链 路 两 端的 主机 端口 的 “运行 状态 ” 


是 => 步骤 4 人 A 否 = 之 步骤 5。 
4. 拔 插 或 更 换 断 开 的 数据 连接 线 缆 。 
操作 完成 以 后 ， 相 应 级 联 端 口 或 主机 端口 指示 灯 是 否 亮 绿色 ， 且 可 以 在 ISM 管 理 界面 
中 看 到 级 联 端口 或 主机 端口 的 “运行 状态 ”显示 为 “连接 ”。 
是 => 步骤 5。 否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
5. 查 看 故障 的 LUN 拷 贝 的 “健康 状态 ”是 否 显示 为 “正常 ”。 
是 => 处 理 完 毕 。 否 => 步骤 6。 
6 该 故障 的 LUN 拷 贝 是 增 量 LUN 找 贝 还 是 全 量 LUN 拷 贝 。 
全 量 LUN 拷 贝 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
增 量 LUN 找 贝 => 原因 3。 


Mb huawel 


是 否 显 不 


D0 3870 


LUN 拷 贝 故障 处 理 步 又 


解决 方案 


1. 在 ISM 上， 查看 源 LUN 所 在 设备 上 的 是 否 有 资源 
LUN 的 “健康 状态 ”显示 为 “故障 ”。 

源 LUN 所 在 “| 2. 根 据 资源 LUN 故 障 进行 处 理 。 Q 
ee 3. 操 作 完成 后 ， 请 重新 创建 一 个 或 多 个 LUN 并 添加 
(适用 于 增 | ”到 资源 池 。 添 加 的 LUN 的 总 容量 应 该 大 扩 等 让 故 
量 LUN 拷 贝 ) | 障 的 资源 LUN 容 量 。 

4. 操 作 完 成 后 ， 查 看 故障 的 LUN 拷 贝 的 健康 状态 ” 
是 否 显示 为 “正常 ”。 








Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. i HUAWEI 


针对 源 LUN 所 在 设备 上 的 资源 LUN 故 障 (适用 于 增 量 LUN 撕 贝 ) 
1. 在 SM 上， 查看 源 LUN 所 在 设备 上 的 是 否 有 资源 LUN 的 “健康 状态 ”显示 为 “故障 ” 


否 => 保持 故障 环境 并 联系 技术 文 持 工程 师 进行 处 理 。 
2. 根 据 资源 LUN 故 障 进行 处 理 。 


3. 操 作 完 成 后 ， 请 重新 创建 一 个 或 多 个 LUN 并 添加 到 资源 池 。 添 加 的 LUN 的 总 容量 应 该 
大 于 等 于 故障 的 资源 LUN 容 量 。 


4. 操 作 完 成 后 ， 查 看 故障 的 LUN 拷 贝 的 “健康 状态 ”是 否 显示 为 “正常 ”。 
是 => 处理 完 上 毕 。 


否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 


筑 诊 断 思 路 


硬盘 杠 上 电 


硬 级 框 级 联 线 拔 插 或 更 换 
连接 异 第 ? 数据 过 接线 有 
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资源 LUN 故 障 ， 可 能 导致 增 量 LUN 拷 贝 、 虚 拟 快 照 、 异 步 远程 复制 等 增值 功能 异常 ， 从 
而 导致 数据 丢失 ， 影 响 系统 性 能 和 可 靠 性 % 


。 现象 描述 

在 SM 导 航 树 上 ， 选 择 “ 所 有 设备 > SN_XX > 存储 资源 > 资源 池 ” (SN_XX 表 示 存 储 系 
统 的 名 称 ) ， 在 右 侧 的 信息 展示 区 中 选择 资源 池 人 A 或 B， 浏 览 信息 展示 区 下 方 的 资源 
LUN“ 健 康 状态 ”， 可 以 看 到 处 于 故障 ”状态 的 资源 LUN。 
。 告警 信息 

在 SM 菜 单 栏 上 ， 选 择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 中 ， 可 以 看 
到 资源 LUN 相 关 的 故障 信息 。 


0D 389 0 


资源 LUN 故 障 处 理 步 骤 


1. 在 存储 系统 侧 检 查 资源 LUN 所 在 的 硬盘 框 电源 运 
行 指示 灯 是 否 灭 。 
2. 检 查 外 部 电源 供电 是 否 正常 。 
2 


友 源 LUN 所 | 3. 请 与 相应 维护 单位 联系 处 理 外 部 电源 问题 。 
在 的 硬盘 框 | 完毕 后 ， 查 看 资源 LUN 的 “健康 状态 ”是 否 显示 
异常 断 电 | 、 ， 

为 “正常 

4 . 拔 插 硬盘 框 电源 线 。 

待 硬盘 框 上 电 完成 后 ， 查 看 资源 [UN 的 “健康 状态 ” 

是 否 显示 为 “正常 ”。 
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。 针对 资源 LUN 所 在 的 硬盘 框 异常 断 电 
1. 在 存储 系统 侧 检 查 资源 LUN 所 在 的 硬盘 框 电 源 运行 指示 灯 是 否 灭 。 
是 => 步骤 2。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
2. 检 查 外 部 电源 供电 是 否 正常 
是 => 步骤 4。 
否 => 步骤 3。 
3. 请 与 相应 维护 单位 联系 处 理 外 部 电源 问题 。 处 理 完毕 后 ， 查 看 资源 LUN 的 “健康 状态 
”是 否 显示 为 “正常 ”。 
是 => 处 理 完毕 % 
否 => 步骤 4 
4. 拔 插 硬 盘 框 电源 线 。 
待 硬盘 框 上 电 完 成 后 ， 查 看 资源 LUN 的 “健康 状态 ”是 否 显示 为 “正常 ”。 
是 二 > 处 理 完毕 。 


否 => 原因 2。 


资源 LUN 故 障 处 理 步 又 


1. 在 存储 系统 侧 观察 设备 上 相应 级 联 端口 link 指 示 灯 状 
态 是 否 灭 。 
? 在 5M 上 ， 查 看 资源 [UN 所 在 的 硬盘 本 的 “运行 省 
资源 LUN 所 | 是 否 显示 为 “离线 ”。 
东 欣 生生 本 | 3. 拔 插 或 更 换 断 开 的 数据 传输 线 纹 。 
异常 4. 操 作 完 成 后 ， 查 看 相应 级 联 端口 link 指 示 灯 是 否 亮 蓝 
色 ， 且 在 SM 管理 界面 中 可 以 看 到 级 联 端 站 “运行 状 
态 ” 显 示 为 “连接 ”。 
5 .查看 资源 LUN 的 “健康 状态 ”是 寄 虽 示 为 “正常 ”。 
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。 针对 资源 LUN 所 在 的 硬盘 框 级 联 线 连接 异常 
1. 在 存储 系统 侧 观 察 设备 上 相应 级 联 端 入 link 指 示 灯 状态 是 否 灭 。 
是 => 步骤 2。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
2. 在 ISM 上 ， 查 看 资源 LUN 所 在 的 硬盘 框 的 “运行 状态 ”是 否 显 示 为 “离线 ”。 
是 => 步骤 3。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
3. 拨 插 或 更 换 断 开 的 数据 传输 线 缆 。 
4. 操 作 完成 后 天 查看 相应 级 联 端口 ink 指 示 灯 是 否 亮 蓝 色 ， 且 在 ISM 管 理 界面 中 可 以 看 到 
级 联 端口 心 运 行 状态 ”显示 为 “连接 ”。 


否 .=> 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
5. 查 看 资源 LUN 的 “健康 状态 ”是 否 显示 为 “正常 ”。 
是 “=> 处 理 完 毕 。 


否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 


0 3910 


0 3920 


应 用 服务 器 无 法 扫描 到 LUN 诊 断 思 


应 用 服务 器 扫 揪 不 多 LUN 


也 根据 "RAID 组 故障 "告警 进 
行 处 理 


要 期 下 C 链 路 异 第 "或 "SCSI > 
链 刻 异常 "处 理 链 诡 间 是 应 用 服务 其 
动态 答 测 机 制 出 响 


没有 证 机 
LUN ID 为 0 的 LUN 奖 射 
HP-UX) ? 





作 在 设备 节点 王 失 问题 
使 用 mknod 全 信 进 行 浊 





nmysw， pp 
侈 他 LUN， 知 后 香 六 启 2 
给 日 搞 LUN 兵 作 





存在 未 知情 误 ， 请 联系 
技术 支持 工程 师 进行 定位 
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应 用 服务 器 无 法 扫描 到 LUN， 将 导致 应 用 服务 器 无 法 使 用 存储 系统 提供 的 资源 。 
现象 描述 


当 用 户 为 应 用 服务 器 映射 了 LUN 后 , 在 应 用 服务 器 侧 无 法 发 现 映 射 的 LUN。 


应 用 服务 器 无 法 扫 摘 到 LUN 处 理 步 驰 ， 


1. 请 检查 存储 系统 中 是 否 存 在 “0xE01F90002 RAID 组 故障 ”的 
告警 。 

2. 根 据 “0xE01F90002 RAID 组 故障 ”告警 处 理 RAID 组 故障 % 

3. 在 应 用 服务 器 上 重新 扫描 LUN， 查 看 故障 是 否 解 决 。 

1. 在 ISM 管 理 界面 上 查看 与 应 用 服务 器 连接 的 FC 或 jsGSL 主 机 端 
口 的 “运行 状态 ”是 否 显示 为 “未 连接 ” 

2. 确 认 是 iSCSI 组 网 还 是 FC 组 网 。 

3. 根 据 FC 链 路 连接 异常 处 理 FC 组 网 的 链 路 问题 ， 处 理 完 成 后 转 
至 步骤 5。 

4. 根 据 iSCSI 链 路 连接 异常 处 理 iSCSI 组 网 的 链 路 问题 ， 处 理 完 成 
后 转 至 步骤 5。 

5. 在 应 用 服务 器 上 重新 扫描 LUN% 查看 故障 是 否 解决 。 
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。 针对 RAID 组 故障 
1. 请 检查 存储 系统 中 是 否 存在 “0xE01F20002 RAID 组 故障 ”的 告警 。 
是 => 步骤 2。 否 => 原因 2。 
2. 根 据 “0xE01F20002 RAID 组 故障 ”告警 处 理 RAID 组 故障 。 
3. 在 应 用 服务 器 上 重新 扫描 LUN, 查看 故障 是 否 解决 。 
是 => 处 理 完毕 。 否 气 > 原因 2。 
。 针对 链 路 通信 异常 


1. 在 ISM 管 理 界面 上 查看 与 应 用 服务 器 连接 的 FC 或 Cs 主机 端口 的 “运行 状态 ”是 否 显 
示 为 “未 连接 ” 


是 => 步骤 2。 否 => 原因 3。 
2. 确 认 是 iSCSI 组 网 还 是 FC 组 网 。 
FC 组 网 .=> 步骤 3。iSCSI 组 网 => 步骤 4。 
3 根据 FC 链 路 连接 异常 处 理 FC 组 网 的 链 路 问题 ， 处 理 完成 后 转 至 步 又 5。 
4. 根 据 iSCSI 链 路 连接 异常 处 理 iSCSI 组 网 的 链 路 问题 ， 处 理 完成 后 转 至 步骤 5。 
5 在 应 用 服务 器 上 重新 扫描 LUN ， 查 看 故障 是 否 解决 。 
是 => 处 理 完毕 。 否 => 原因 3。 


DD 3930 


应 用 服务 器 无 法 扫 摘 到 LUN 处 理 步 骤 ， 


1. 请 检查 应 用 服务 器 上 安装 的 HBA 卡 驱动 程序 是 否 为 陈旧 的 版 本 。 
HBA 卡 的 驱动 | ,在 所 上 逢 载 已 安装 的 HBA 卡 驱 去 然后 重新 安 半 
程序 版 本 过 于 在 应 用 服务 器 上 逢 载 已 安装 的 HBA 卡 驱动 程序 ， 然 后 重新 安装 最 
陈旧 新 版 本 的 HBA 卡 驱动 程序 。 


3. 在 应 用 服务 器 上 重新 扫描 LUN， 查 看 故障 是 否 解决 。 


1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 Linux 或 UNIX。 


2. 在 应 用 服务 器 侧 查 看 “dev” 目 录 下 ， 是 否 有 对 应 的 设备 节 只 文件 ， 
例如 “dewsdb” 。 

设备 节点 文件 | 3 在 应 用 服务 器 的 “Terminal” 中 执行 命令 mknod 区 | 建设 备 节点 。 

丢失 (适用 于 | 、、 

UNIX 或 Linux) 命令 mknod 一 般 使 用 的 形式 为 : mknod Name {by| <} Major 
Minor， 其 中 Name 代 表 设 备 名 称 ，b | c 伐 表 抉 设备 或 者 字符 设备 ， 
Major 代 表 主 设备 号 ，Minor 代 表 次 设备 号 ss 

4. 在 应 用 服务 器 上 重新 扫描 LUN ， 查 看 故障 是 否 解决 。 
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。 针对 HBA 卡 的 驱动 程序 版 本 过 于 陈旧 
1. 请 检查 应 用 服务 器 上 安装 的 HBA 卡 驱动 程序 是 否 为 陈旧 的 版 本 。 
是 => 步骤 2。 否 => 原因 4。 


2. 在 应 用 服务 器 上 印 载 已 安装 的 HBA 末 驱动 程序 ， 然 后 重新 安装 最 新 版 本 的 HBA 卡 驱动 
程序 。 


3. 在 应 用 服务 器 上 重新 扫描 上 UNF 查看 故障 是 否 解决 。 
是 => 处 理 完 毕 。 否 => 原因 4。 
。 针对 设备 节点 文件 丢失 、( 适 用 于 UNIX 或 Linux) 
1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 Linux 或 UNIX。 
是 => 步骤 2。 否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 


2. 在 应 用 /服务 器 侧 查看 “dev” 目 录 下 ， 是 否 有 对 应 的 设备 节点 文件 ， 例 如 
“dev/sdb”% 


是 => 原因 5。 否 => 步骤 3。 
3 在 应 用 服务 器 的 “Terminal” 中 执行 命令 mknod， 创 建设 备 节点 。 
命令 mknod 一 般 使 用 的 形式 为 : mknod Name {b | c} Major Minor， 其 中 Name 代 
表 设 备 名 称 ，b | c 代 表 块 设备 或 者 字符 设备 ，Major 代 表 主 设备 号 ，Minor 代 表 次 设 
备 号 。 
4. 在 应 用 服务 器 上 重新 扫描 LUN ， 查 看 故障 是 否 解决 。 

是 => 处 理 完毕 。 否 => 原因 5。 
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应 用 服务 器 无 法 扫 摘 到 LUN 处 理 步 骤 ， 


1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 Mac OS X。 
_ | 2. 请 重新 启动 Mac OS X 应 用 服务 器 。 
应 用 服务 器 动 
态 检测 机 制 影 当 Mac OS X 应 用 服务 器 没有 LUN 映 射 时 ，Mac OS X 应 用 
响 (适用 于 外埠 六 各 ab s 士 六 MJ 者 
Mac OS X) 服务 器 本 身 的 动态 检测 机 制 可 能 无 法 生效 ， 所 以 需要 备 
新 启动 应 用 服务 器 来 触发 该 动态 机 制 。 

3. 在 应 用 服务 器 上 重新 扫描 LUN ， 查 看 故障 是 否 解决 ” 

1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 HP-UXs 
ee 2. 在 ISM 上 查看 HP-UX 应 用 服务 器 的 LUN 映 射 %、 是 否 存在 
ID” 为 0 的 LUN | “主机 LUN ID” 为 0 的 LUN 映 射 。 
映射 ( 适 
甩 半 用 于 | 3 为 HP-UX 应 用 服务 器 添加 “主机 ONSBP ?为 0 的 LUN 映 射 。 

4. 在 应 用 服务 器 上 重新 扫 摘 LN ， 查 酒 故障 是 否 解决 。 
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。 应 用 服务 器 动态 检测 机 制 影 响 (适用 于 MaceS X) 
1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 MQc OS X。 
是 => 步骤 2。 否 => 原因 6。 
2. 请 重新 启动 Mac OS X 应 用 服务 器 


当 Mac OS X 应 用 服务 器 没有 LUN 映 射 时 ，Mac OS X 应 用 服务 器 本 身 的 动态 检测 机 
制 可 能 无 法 生效 ， 所 以 项 要 重新 启动 应 用 服务 器 来 触发 该 动态 机 制 。 


3. 在 应 用 服务 器 上 重新 扫描 LUN， 查 看 故障 是 否 解 决 。 
是 => 处 理 完毕 人 ~ 否 > 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
。 应 用 服务 器 没有 “主机 LUN ID” 为 0 的 LUN 映 射 (适用 于 HP-UX) 
1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 HP-UX。 
是 => 步骤 24 否 => 原因 7。 


2. 在 ISM 上 查看 HP-UX 应 用 服务 器 的 LUN 了 上 映射， 是否 存 在 “主机 LUN ID” 为 0 的 LUN 映 射 


是 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 否 => 步骤 3。 
3 为 HP-UX 应 用 服务 器 添加 “主机 LUN ID” 为 0 的 LUN 映 射 。 
4. 在 应 用 服务 器 上 重新 扫描 LUN ， 查 看 故障 是 否 解决 。 


是 => 处 理 完毕 。 否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
0D 395 0 


应 用 服务 器 无 法 扫 摘 到 LUN 处 理 步 骤 ， 


1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 Solaris 9 。 
2. 确 认 Solaris9 应 用 服务 器 是 否 安装 了 “SAN 


Foundation Software” 。 
应 用 服务 器 | 3. 运 行 cfgadm al 命 令 查询 端口 的 NWN (wor gat 


自动 停止 扫 Name) = 

描 LUN 操 作 

(适用 于 4. 运 行 cfgadm al -o show_FCP_dev c2::WMWN 命 令 重 新 

301an59) |。 启动 端口 扫描 LUN 操 作 。 其 中 showNRCP>dev 表 示 显 
示 LUN 信 息 ，c2 表 示 步 又 3 中 查询 到 的 端口 号 ， 
WWN 表 示 步 又 3 中 查询 到 的 WWN 写 。 


查看 故障 是 否 解决 。 
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。 针对 应 用 服务 器 自动 停止 扫描 LUN 操 作 (适用 于 Solaris 9) 

1. 确 认 应 用 服务 器 的 操作 系统 是 否 为 SolQris 9。 
是 => 步骤 2。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 

2. 确 认 Solaris 9 应 用 服务 器 是 否 安 装 了 “SAN Foundation Software”。 
是 => 步骤 3。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 

3. 运 行 cCfgadm ql 命令 查询 端口 的 NWN (World Wide Name) 号 。 


4. 运 行 Cfgadin al so show_FCP_dev c2::WWN 命 令 重 新 启动 端口 扫描 LUN 操 作 。 其 
中 Show_FCP_dev 表 示 显 示 LUN 信 息 ，c2 表 示 步 又 3 中 查询 到 的 端口 号 ，WWN 表 示 
步骤 3 中 查询 到 的 WWN 号 。 


查看 故障 是 否 解决 。 
是 => 处 理 完毕 。 


否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
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FC 链 路 异常 ， 可 能 会 导致 应 用 服务 器 与 存储 系统 之 间 产 生 业 务 中 断 、 数 据 丢失 等 问题 。 
。 现象 描述 


FC 接口 模块 上 的 端口 已 通过 光纤 与 应 用 服务 器 建立 了 物理 连接 。 在 ISM 导 航 树 上 ， 选 择 
“所 有 设备 > SN_XX > 设备 信息 > 存储 单元 > 端口 ” (SN_XX 表 示 存 储 系统 的 名 称 ) ， 在 
的 信息 展示 区 浏览 FC 主机 端口 信息 ， 可 以 看 到 “健康 状态 ”为 “--” 且 “运行 状态 ” 

为 “未 连接 ”的 FC 端口 。 在 设备 现场 发 现 该 FC 主机 端口 link/speed 指 示 灯 亮 红 灯 或 灭 。 


警 信息 
局 /CAN 


登录 ISM， 在 ISM 导 航 树 上 选择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 的 
“故障 列表 ”页 签 下 ， 可 能 存在 主机 端口 和 光 模 块 相 关 告 警 。 


本 文 以 “4 人 OxE020B0003 主机 端口 光 模 块 故 障 ” 告 警 〈 适 用 于 
S$2200T/S2600T/S5590T/S5600T/S5800T/S6800T) 为 例 ， 如 果 存在 “0xE020B000B 主机 端 
口 光 模块 故障 ”告警 (适用 于 35500T) ， 则 以 “0xFE020B000B 主机 端口 光 模块 故障 ”中 
的 处 理 步 又 进行 处 理 。 


本 天 以 “0xE020B0004 主机 端口 光 模 块 类 型 不 匹配 ”告警 (适用 于 
S2200T/S2600T/S5500T/S5600T/S5800T/S6800T) 为 例 ， 如 果 存 在 “0xE020B000C 主机 
端口 光 模 块 类 型 不 匹配 ”告警 (适用 于 35500T) ， 则 以 “0xE020B000C 主机 端口 光 模块 
类 型 不 匹配 ”中 的 处 理 步 骤 进 行 处 理 。 

本 文 以 “0xE020B0005 主机 端口 光 模 块 速率 不 匹配 ”告警 (适用 于 
S2200T/S2600T/S5500T/S5600T/S5800T/S6800T) 为 例 ， 如 果 存 在 “0xE020B000D 主机 
端口 光 模 块 速率 不 匹配 ”告警 (适用 于 35500T) ， 则 以 “0xE020BO000D 主机 端口 光 模块 
速率 不 匹配 ”中 的 处 理 步 又 进行 处 理 。 


下 


下 
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FC 链 路 异常 处 理 步 又 \ 


1. 在 ISM 上 查看 告警 信息 ， 是 否 存 在 “0xE020B0003 主机 端口 光 模 块 故障 ”告警 
(适用 于 T 系 列 ) 或 “0xE020B000B 主机 端口 光 模 块 故障 ”告警 (适用 于 
S5500T) 。 
关 信 只 时 现 | 2 根据 “OxE02080003 主机 端口 光 模块 故障 ”告警 适用 于 T 系 列 ) 或 
“0xE020B000B 主机 端口 光 模 块 故障 ”告警 (适用 于 55500T) 进行 处 
3. 操 作 结 束 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿 色 或 蓝 色 ， 且 在 ISM 申 该 宇 杭 端 口 
的 “运行 状态 ”显示 为 “已 连接 ”。 
1. 在 ISM 上 查看 告警 信息 ， 是 否 存在 “0xE020B0004 主机 端口 光 模 块 类 型 不 匹配 ” 
(适用 于 T 系 列 ) 告警 或 “0xE020B000C 主机 端口 光 模 块 类 型 不 匹配 ”告警 ( 适 
主机 端口 光 用 于 55500T) 。 
模块 类 型 不 | 2 根据“0xE020B0004 主机 端口 光 模块 类 型 不 匹配 ”告警 (适用 于 T 系 列 ) 或 
匹配 “0xE020B000C 主机 端口 光 模 块 类 型 不 匹配 ”告警 (适用 于 55500T) 进行 处 理 。 
3. 操 作 结 束 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿 色 或 蓝 色 * 且 在 ISM 中 该 主机 端口 
的 “运行 状态 ”显示 为 “已 连接 ”。 
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针对 光 模 块 出 现 故 障 


1. 在 ISM 上 查看 告警 信息 ， 是 否 存在 “0xE020B0003 主机 端口 光 模块 故障 ”告警 (适用 
于 T 系 列 ) 或 “0xE020B0O00B 主机 端口 光 模块 故障 ”告警 (适用 于 S5500T) 。 


是 三 > 步骤 2。 合 => 原因 2。 


2. 根 据 “0xE020B0003 主机 端口 光 模 块 故 障 ” 告 警 (适用 于 T 系 列 ) 或 “0xE020BOOOB 
主机 端口 光 模 块 故 障 ” 告 警 (适用 于 S5500T) 进行 处 理 。 


3. 操 作 结 束 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 ISM 中 该 主机 端口 的 
“运行 状态 ”显示 为 已 连接 ”。 
是 => 处 理 完 毕 。 否 => 原因 4。 

针对 主机 端口 光 模块 类 型 不 匹配 


1. 在 SM 上 查看 告警 信息 ， 是 否 存 在 “0xE020B0004 主机 端口 光 模块 类 型 不 匹配 ” ( 适 
用 于 T 系 询 ) 告警 或 “0OxE020B000C 主机 端口 光 模 块 类 型 不 匹配 ”告警 (适用 于 
S53001)、。 


是 => 步骤 2。 合 => 原因 3。 


2. 根 据 “0xE020B0004 主机 端口 光 模 块 类 型 不 匹配 ”告警 (适用 于 T 系 列 ) 或 
“OxE020BOOOC 主机 端口 光 模块 类 型 不 匹配 ”告警 (适用 于 S5500T) 进行 处 理 。 


3. 操 作 结 束 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 |SM 中 该 主机 端口 的 
“运行 状态 ”显示 为 “已 连接 ”。 


是 => 处 理 完毕 。 否 => 原因 4。 


398 0 


FC 链 路 异 单 处 理 步骤 


1. 在 ISM 上 查看 告警 信息 ， 是 否 存 在 “0xE020B0005 主机 端口 光 模 块 速率 不 
匹配 ”告警 (适用 于 $S2200T/S2600T/S55500T/S55600T/S5800T/S6800T) 或 


“0xE020B000D 主机 端口 光 模 块 速率 不 匹配 ”告警 (适用 于 S5500F) 。 


主机 端口 光 2. 根 据 “0xE020B0005 主机 端口 光 i 2 和 i 
~ 。 口 光 模块 速率 不 匹配 ”告警 (适用 于 
模块 速率 不 四 


匹配 S2200T/S2600T/S5500T/S5600T/S5800T/S6800T) 或 “ wei Lh 


端口 光 模块 速率 不 匹配 ”告警 (适用 于 55500T) 进行 处 理 。 
3 .操作 结束 后 ，FC 主 机 端口 的 ink 指 示 灯 是 否 亮 绿色 或 蓝 色 心目 竺 | 侣 4 中 该 
主机 端口 的 “运行 状态 ”显示 为 “已 连接 ”。 
光纤 连接 松 | ，1 技 插 光 纤 或 更 换 光纤 。 
动 或 光纤 被 | 2. 操作 完成 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 IsSM 中 该 
损坏 主机 端口 的 “运行 状态 ”显示 为 “已 连接 ”上 
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。 针对 主机 端口 光 模 块 速率 不 匹配 


1 .在 ISM 上 查看 告警 信息 ， 是 否 存在 “bxE050B0005 主机 端口 光 模块 速率 不 匹配 ”告警 
(适用 于 $2200T/S2600T/S5500T/SS600T/S5800T/S6800T) 或 “OxE020BOOOD 主机 
端口 光 模 块 速率 不 匹配 ”告警 (适用 于 $5500T) 。 


是 三 > 步骤 2。 合 => 原因 4。 


2. 根据 “0OxE020B0005S%R 主 机 端口 光 模 块 速 率 不 匹配 ”告警 (适用 于 
S$2200T/S2600T/S5500TS5600T/S5800T/S6800T) 或 “0xE020B000D 主机 端口 光 模 
块 速率 不 匹配 ”告警 (适用 于 S55500T) 进行 处 理 。 

3. 操 作 结 束 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 ISM 中 该 主机 端口 的 
“运行 状态 ”/ 显示 为 “已 连接 ”。 
是 => 处 理 完毕 x 否 => 原因 4。 

。 针对 光纤 连接 松动 或 光纤 被 损坏 

1 . 拔 插 光 纤 或 更 换 光 纤 。 

2. 操 作 完 成 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 ISM 中 该 主机 端口 的 
“运行 状态 ”显示 为 “已 连接 ”。 


是 => 处 理 完毕 。 否 => 原因 5。 
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FC 链 路 异常 处 理 步 又 \ 


1. 现 场 组 网 环境 是 直 连 组 网 还 是 交换 机 组 网 。 

交换 机 组 网 => 步骤 2。 直 连 组 网 => 步骤 8。 

2. 查 看 FC 主机 端口 速率 与 存储 系统 连接 的 交换 机 端口 速率 是 否 一 致 。 
| am 
其 说 明 书 。 


3. 调 整 FC 主 机 端口 的 “配置 速率 ”， 使 FC 主 机 端口 的 “配置 速率 ”与 
对 应 的 交换 机 端口 速率 一 致 。 

4. 调 整 速率 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 ISM 
中 该 主机 端口 的 “运行 状态 ”显示 为 “已 连接 ”。 

5. 查 看 应 用 服务 器 HBA 卡 工作 速率 与 对 应 交换 机 端 向 的 速率 是 否 一 致 。 

6. 调 整 与 应 用 服务 器 连接 的 交换 机 端口 速率 ,使 交换 机 端口 速率 与 应 
用 服务 器 FC HBA 卡 速率 一 致 。 
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。 针对 主机 端口 速率 不 一 致 
1. 现 场 组 网 环境 是 直 连 组 网 还 是 交换 机 组 网 。 
交换 机 组 网 => 步骤 2。 直 连 组 网 => 步骤 8。 
2. 查 看 FC 主 机 端口 速率 与 存储 系统 连接 的 交换 机 端口 速率 是 否 一 致 。 
关于 如 何 检查 交换 机 端口 或 FC HBA 卡 速率 请 咨询 对 应 的 厂商 或 查看 其 说 明 书 。 
是 => 步骤 5。 否 => 步骤 33 
3. 调 整 FC 主 机 端口 的 “配置 速率 ”， 使 FC 主 机 端口 的 “配置 速率 ”与 对 应 的 交换 机 端 
口 速率 一 致 。 


4 调整 速率 后 4 FC 主 机 端口 的 ink 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 SM 中 该 主机 端的 
“运行 状态 ”显示 为 “已 连接 ”。 


=> 处 理 完毕 。 否 => 步骤 5。 
5. 查 看 应 用 服务 器 HBA 卡 工作 速率 与 对 应 交换 机 端口 的 速率 是 否 一 致 。 
是 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
否 广 > 步骤 6。 


6 调整 与 应 用 服务 器 连接 的 交换 机 端口 速率 ， 使 交换 机 端口 速率 与 应 用 服务 器 FC HBA 
卡 速率 一 致 


FC 链 路 异常 处 理 步 又 \ 


| 序号 | 问题 | 解决 A 案 | 
7. 调 整 速率 后 ，FC 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 
且 在 ISM 中 该 主机 端口 的 “运行 状态 ”显示 为 “已 连接 ”。 
8. 查 看 FC 主机 端口 速率 与 存储 系统 连接 的 应 用 服务 器 的 HBX 
卡 的 工作 速率 是 否 一 致 。 X 
9. 调 整 FC 主 机 端口 的 “配置 速率 ”， 使 FC 主 机 端 所 的 所 配置 
速率 ”与 对 应 的 应 用 服务 器 FC HBA 卡 设置 的 工作 速率 一 致 。 
10. 调 整 速率 后 ，FC 主 机 端口 的 link 指 示 灯 害 大 亮 绿色 或 蓝 色 ， 
且 在 ISM 中 该 主机 端口 的 “运行 状态 ”显示 为 “已 连接 ”。 
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。 针对 主机 端口 速率 不 一 致 


Wh FC 主机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 ISM 中 该 主机 端口 的 
运行 状态 ”显示 为 “已 连接 ”。 


是 => 处 理 完 毕 。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
8. 查 看 FC 主 机 端口 速率 与 存储 系统 连接 的 应 用 服务 器 的 HBA 卡 的 工作 速率 是 否 一 致 。 
是 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
否 => 步骤 9。 


32. 调整 FC 主机 端口 的 “配置 速率 ”， 使 FC 主机 端口 的 “配置 速率 ”与 对 应 的 应 用 服务 
器 FC HBA 卡 设置 的 工作 速率 一 致 。 


10. 调 整 整 速率 后 ;> FC 主机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 I SM 中 该 主机 端口 的 
运行 状态 ”显示 为 “已 连接 ”。 


是 =>. 处 理 完毕 。 


否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 


0 401 0 


iSCSI 链 路 异常 诊 


调整 SCSI 主 机 端口 和 应 用 
服务 器 业务 网 口 IP 地 址 使 两 
个 端口 之 闻 能 够 通信 


拔 插 或 更 换 网 线 后 ， 仍 无 法 
ping 通 ， 则 存在 网 络 问题 ， 
请 联系 网 络 管理 员 处 理 
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iSCSIl 链 路 异常 ， 可 能 会 导致 应 用 服务 器 与 存储 系统 之 间 产 生 业 务 中 断 、 数 据 丢失 等 问 


题 。 


。 现象 描述 

在 ISM 导 航 树 上 ， 选 择 “ 所 有 设备 ,>, SN_XX > 设备 信息 > 存储 单元 > 端口 ” (SN_XX 
表示 存储 系统 的 名 称 ) ， 在 右 侧 的 信息 展示 区 浏览 CSI 主 机 端口 信息 ， 可 以 看 到 “健康 状 
态 ” 为 “--” 并 且 “ 运 行 状态 ”为 未 连接 ”的 iSCSI 端 口 。 在 设备 现场 发 现 该 SCSIl 主 机 端 
口 link 指 示 灯 灭 。 


。 告警 信息 


握 /AN 


登录 NSM ， 在 I9M 导 航 树 上 选择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ”对 话 框 的 
“故障 列表 ”页 签 下 人 可 能 存在 “主机 端口 连接 断 开 ”的 告警 


0 402 0 


iSCSI 链 路 异常 处 理 步 又 


iSCSI 主机 端口 
IP 地 址 或 应 用 
服务 器 业务 网 
口 IP 地 址 配置 


普 误 





1 确认 在 应 用 服务 器 上 是 否 可 以 ping 通 isCsl 主 机 端口 jp 地 址 。 

2 确认 现场 组 网 环境 是 直 连 组 网 还 是 交换 机 组 网 。 

直 连 组 网 => 步 又 3。 交 换 机 组 网 => 步 又 4。 

3 修改 iSCSI 主机 端口 地 址 ， 使 SCSsI 主 机 端口 jp 地 址 与 庶 朋 
服务 器 业务 网 口 |P 地 址 在 同一 个 网 段 ， 然 后 转 至 帮 又 5 


您 也 可 以 在 应 用 服务 器 上 修改 应 用 服务 器 的 业务 网 口 PP 地 址 ， 


使 其 与 iSCSI 主机 端口 IP 地 址 在 同一 个 网 段 ss 
4. 分 别 为 iSCSI 主机 端口 和 应 用 服务 器 添加 路 由 s 使 iSCSI 主机 
端口 和 应 用 服务 器 能 够 通信 ， 然 后 转 奉 步骤 5。 


5. 请 在 应 用 服务 器 上 运行 ping 命 令 查看 网 络 链 路 是 否 可 以 通 ， 


其 中 目的 地 址 为 存储 系统 iSGSI 主 机 端口 IP 地 址 。 
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。 针对 iSCSI 主 机 端口 IP 地 址 或 应 用 服务 器 业务 网 加 IP 地 址 配置 错误 
1. 确 认 在 应 用 服务 器 上 是 否 可 以 ping 通 iSCSl 主 机 端口 IP 地 址 。 
是 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 


否 => 步骤 2。 


2. 确 认 现 场 组 网 环境 是 直 连 组 网 还 是 交换 机 组 网 。 
直 连 组 网 => 步骤 3。% 交 换 机 组 网 => 步骤 4。 
3. 修 改 iSC5l 主 机 端 虽 PR 地 址 ， 使 SCSI 主 机 端口 IP 地 址 与 应 用 服务 器 业务 网 口 IP 地 址 在 同 

一 个 网 段 ， 然 后 转 至 步骤 5。 
您 也 可 以 在 应 用 服务 器 上 修改 应 用 服务 器 的 业务 网 口 IP 地 址 ， 使 其 与 SCSl 主 机 端口 
PP 地 址 在 同一 企 网 段 上 。 

4. 分 别 为 SCsl 主 机 端口 和 应 用 服务 器 添加 路 由 ， 使 BC3I 主 机 端口 和 应 用 服务 器 能 够 通 


信 , /然后 转 至 步 又 5。 


Wb huawel 


5, 请 在 应 用 服务 器 上 运行 ping 命 令 查看 网 络 链 路 是 否 可 以 通 ， 其 中 目的 地 址 为 存储 系统 


iSCS| 主 机 端口 IP 地 址 。 


是 二 > 处 理 完毕 。 否 => 原因 2。 


0 4030 


iSCSI 链 路 异常 处 理 步 又 \ 


1. 拔 插 或 更 换 连 接 存储 系统 与 应 用 服务 器 之 间 的 网 线 。 
2. 操 作 结 束 后 ， 请 在 应 用 服务 器 上 运行 ping 命 令 查 看 

应 用 服务 器 | 网 络 链 路 是 否 可 以 通 ， 其 中 目的 地 址 为 存储 系 

与 存储 系统 | . ed 

之 间 的 线 缆 iSCSI 主机 端口 IP 地 址 。 

松动 或 损坏 |3. 操 作 结 束 后 ，iSCSlI 主 机 端口 的 link 指 示 灯 是 知 亮 绿 
色 或 蓝 色 ， 且 在 ISM 中 该 主机 端口 的 “运行 状态 ” 
显示 为 “连接 ”。 
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。 针对 应 用 服务 器 与 存储 系统 之 间 的 线 绕 松动 或 损坏 
1. 拔 插 或 更 换 连接 存储 系统 与 应 用 服务 器 之 间 的 网 线 。 


2. 操 作 结 束 后 ， 请 在 应 用 服务 器 上 运行 Ping 命 令 查看 网 络 链 路 是 否 可 以 通 ， 其 中 目的 地 
址 为 存储 系统 SCSIl 主 机 端口 IP 地 址 。 


是 => 步骤 3。 
否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
3. 操 作 结束 后 ，iSCSI 主 机 端口 的 link 指 示 灯 是 否 亮 绿色 或 蓝 色 ， 且 在 ISM 中 该 主机 端口 
的 “运行 状态 ”显示 为 “连接 ”。 
是 => 处 理 完毕 。 


否 => 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 


SAN 网 络 故障 分 类 和 定义 


。 按 故 障 对 象 不 同 分 : 
o IP SAN: 1) IP 无 法 连通 ; 2) 端口 限制 ; 3) VLAN 设 置 不 合理 ; 4) 交换 
机 端口 故障 ; 5) 网 卡 故 障 ; 
o FC SAN: 1) 端口 模式 不 匹配 ; 2) 端口 速率 不 匹配 ; 3) 兼容 性 ;@y 
SFP 光 功率 不 足 ; 5) 光纤 或 端口 物理 故障 ; 6) HBA 卡 驱动 加 载 异 常 ， 
。 按 故 障 性 质 分 : 
o 物理 故障 : 硬件 设备 或 者 物理 设备 出 现 异常 ， 无 法 正常 正 作 3 
0 逻辑 故障 : 设备 逻辑 状态 异常 ;例如 驱动 或 模块 加 载 异 常 ， 
o 配置 异常 : 链 路 通信 参数 (速率 、 模 式 ) 配置 不 合理 导致 异常 
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SAN 网 络 故障 诊断 整体 流程 


检查 存储 iSCSI 端 口 状 态 | 

检查 交换 机 端口 状态 和 VLAN 配 置 
SAN le 检查 服务 器 网 卡 状态 、IP、 网 关 等 配置 

-检查 服务 器 iSCSlinitiator 服 务 

检查 iSCSI 启 动 版 本 兼容 性 


检查 多 路 径 状 态 





SAN 
网 络 故 障 诊断 流程 


检查 存储 FC 端口 状态 、 速 率 和 模式 | 
FC 5AN Ja/ 检查 交换 机 端口 状态 、 Zone 配 填 、 端口 速率 、 模 式 
上 | 检查 服务 器 HBA 卡 物理 状态 和 驱动 加 载 | 


检查 多 路 径 状态 


™、 
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FC SAN 网 络 不 通 问 题 分 析 与 处 理 


BA 卡 驱动 问题 


更 改 阵列 主机 端口 模式 为 点 对 点 或 者 交换 机 模式 ， 再 重新 
连接 

.更 改 阵列 主机 端口 速率 为 1G6、2G 或 者 46 再 重新 连接 

升级 阵列 版 本 

. 删除 原来 的 zone; 

. 重新 创建 zone， 保 证 阵列 主机 口 和 业务 服务 句 的 HBA 卡 在 


一 个 zone 里 ; 


. 和 拖 载 原 有 的 HBA 卡 驱动 
2. 重新 安装 新 的 HBA 卡 驱动 








醒 件 故障 








采用 替换 法 确定 故障 点 ， 是 光 模 块 还 是 光纤 还 是 HBA 卡 故障 ， 
确定 后 更 换 。 





™、 
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FC SAN 网 络 不 通 问 题 分 析 与 处 理 


登录 管理 界面 查看 光纤 端口 误 码 情况 ， 如 果 误 码 率 持续 
长 ， 表 示 误 码 率 过 高 ， 如 果 误 码 持续 增长 ， 属 于 非 下 
况 ， 应 该 从 以 下 几 个 方面 排除 误 码 : 

1) 查看 存储 侧 是 否 有 光 模 块 告警 信息 。 
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针对 存储 单元 FC 误 码 率 过 高 问题 

. 查看 存储 侧 是 否 有 光 模 块 告警 信息 : 是 否 有 告警 信息 ， 存 储 侧 光 模块 工作 不 正常 ， 会 出 
现 大 量 误 码 ， 应 及 时 更 换 存 储 对 应 端口 光 模块 或 与 之 连接 的 主机 侧 光 模块 。 

. 更 换 光纤 线 : 某 些 情况 下 ， 光 纤 线 弯曲 过 大 ， 会 导致 光纤 内 部 断裂 ; 光纤 出 口 有 沾 污 会 
导致 接收 光 或 发 射 光 信号 质量 下 降生 这 些 都 有 可 能 导致 数据 传输 中 产生 误 码 。 

. 更 换 主机 端口 : 某 些 情况 下 仿生 机 HBA 卡 与 光纤 线 接触 不 好 ， 可 能 造成 光 信 号 传输 质量 
不 好 ; 另外 ， 主 机 侧 光 模块 工作 不 正常 也 有 可 能 制造 误 码 。 


IP SAN 网 络 不 通 问 题 诊 断 思 


Windows 平 台 : 

打开 网 络 连接 ， 本 地 连接 状态 ， 查 看 连接 速度 ; 

打开 设备 管理 器 ， 网 卡 属性 ， 查 看 双 工 模式 。 

Linux 平 台 : 

使 用 命令 ethtool eth0 查看 连接 速度 和 双 工 模式 。 X 

1. 确保 虚拟 交换 机 使 用 的 物理 网 卡 和 存储 业务 网 
络 连 通 

2. 确保 虚拟 机 网 卡 选择 了 正确 的 虚拟 网 络 


检查 iSCSl 主 | 存储 业务 IP 如 果 和 主机 IP 地 址 不 在 同一 子 网 ， 必 须 设置 
机 端口 配置 | 网 关 ， 确 保 路 由 可 达 。 
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案例 1- s5600T 控 制 器 ECC 复 位 后 无 法 恢复 上 电 ， 
对 端 控 制 器 离线 
。 故障 现象 
o S5600T，B 控 制 器 ECC 错 误 异 常 复位 后 ， 无 法 上 电 成 功 ， 同 时 A 控制 器 状态 为 “ 离 
系统 单 控 运行 ， 且 运行 的 控制 器 为 “离线 ”状态 。 另 外 一 个 控制 器 恢复 上 电 失 败 


。 原因 分 析 ~ 
o 控制 器 B 的 内 存 条 有 异常 ， 导 致 产生 大 量 ECC 错 误 ， 最 终 引 起 控制 器 复位 * 内 存 
由 于 控制 器 8 复位 后 因 存 被 屏蔽 ， 其 有 效 内 存 容 量 比 控制 器 AN( 主 探 ) 小 ， 控 制 
器 B 恢 复 上 电 失败 。 
控制 器 B 在 上 电 过 程 中 ， 会 先 假定 自己 是 主 控 ， 在 上 电 先 败 时 售 会 将 对 端 置 为 “ 
离线 ”， 导 致 正在 运行 的 真正 主 控 (控制 器 A) 状态 变 为 RS 离线 ”。 
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.查看 复位 的 控制 器 的 复位 原因 是 ECC 复 位 (看 对 应 控制 器 故障 时 间 点 后 的 第 一 份 


messages 日 志 

[2012-11-21 16:04:17][2169][8001500003fa007d][INFO][Ecc reboot1 
times][OS_Proc _Init] [OS_DEBUG] 

登录 ISM 查 看 ， 确 认 未 恢复 的 控制 器 状态 为 “离线 ”。 


确认 阵列 版 本 是 V100R002C0OSPCO10、V100RO002COOSPCO0O11、 
V100R002CO0SPC012 三 者 之 一 。 


案例 1- s5600T 控 制 器 ECC 复 位 后 无 法 恢复 上 电 ， 
对 端 控 制 器 离线 
。 处 理 过 程 

1. 停止 主机 业务 。 

2. 更 换 备件 控制 器 。 

3. 将 阵列 版 本 升级 到 最 新 的 V100R002 版 本 或 V100R005 版 本 。 

注意 : 如 果 备 件 控制 器 与 当前 运行 控制 器 的 软件 版 本 不 同 ， 在 版 本 同 3 


过 程 中 主 控制 器 也 会 重启 ， 如 果 此 时 未 停止 业务 ， 将 导致 业务 中 断 。 
检查 阵列 及 业务 状态 ， 如 果 双 控 状 态 正常 且 版 本 较 V100R002C00SPC012 高 
， 业 务 正 常 ， 则 问题 解决 。 


.< 


Ro 
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案例 2- 网 线 断 开导 致 映射 的 LUN 文 件 系统 错误 


。 故障 现象 
o 应 用 服务 器 的 操作 系统 为 Linux 


o 在 业务 运行 过 程 中 存储 设备 与 应 用 服务 器 之 间 的 网 线 断 开 ， 且 在 应 用 服 
务 器 侧 映 射 的 LUN 文 件 系统 错误 (如 文件 系统 只 读 、 TE 


。 原因 分 析 
o 网 线 损坏 导致 映射 的 LUN 文 件 系统 错误 。 
。 处 理 过 程 


1. 更 换 网 线 并 确保 网 络 恢复 正常 。 
2. 以 ext2 文 件 系 统 为 例 ， 服 务 器 上 运行 fck.ext2 -a 命 令 修复 文件 系统 。 
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案例 3- LUN 属 性 错误 导致 对 其 同时 读 写 大 文件 时 ”| 、 
读 性 能 低下 


。 故障 现象 
o 对 一 个 LUN 同 时 读 写 两 个 大 文件 时 ， 读 性 能 低下 ， 应 用 服务 器 中 读 文件 
拷贝 进度 剩余 时 间 不 断 增加 或 没有 显示 。 


1. 在 ISM 导 航 树 上 ， 展 开 存 储 设备 ， 然 后 选择 “存储 资源 > LUN 全 在 右 侧 
的 信息 展示 区 下 侧 查看 故障 的 LUN 的 属性 。 

2. 确认 该 LUN 正 在 后 台 格式 化 或 写 策 略 设置 为 透 写 。 

由 此 得 出 结论 : 

LUN 正 在 后 合格 式 化 或 写 策略 设置 错误 ， 导 致 对 其 同时 读 写 大 文件 时 读 性 
能 低下 。 


| 
~ 


RS 
Copyright © 2013 Huawei Technologies Co., Ltd. All rightsreservéd. ® Page56 i HUAWEI 
所 





DD 413 


案例 3- LUN 属 性 错误 导致 对 其 同时 读 写 大 文件 时 
读 性 能 低下 
。 处 理 过 程 
o 等 待 该 LUN 后 人 台 格 式 化 完成 。 

登录 ISM ， 展 开 存储 设备 ， 然 后 选择 “存储 资源 > LUN”， 在 右 侧 的 信息 

展示 区 下 侧 查看 故障 的 LUN 的 属性 。 当 “运行 状态 ”显示 为 “在 线 汪 时 

可 以 判断 已 经 格式 化 完成 。 

设置 LUN 写 策略 为 回 写 。 

在 右 侧 信息 展示 区 ， 勾 选 需要 修改 的 LUN ， 然 后 选择 “修改 ”ss 在 弹出 

的 “修改 LUN" 对 话 框 中 ， 设 置 其 写 策略 。 
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。 建议 采用 以 下 措施 规避 该 故障 : 
o 在 同时 读 写 大 文件 时 ， 确 认 LUN 后 台 格 式 化 已 完成 。 
o LUN 的 写 策略 设置 为 回 写 。 
o 在 LUN 的 后 台 格 式 化 过 程 中 或 者 属性 设置 为 透 写 模式 时 ， 存 储 设备 处 理性 能 会 有 
部 分 下 降 。 
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案例 4- 阵 列 CHAP 信 息 修 改 ， 导 致 主机 重启 后 无 _ 
法 与 阵列 恢复 连接 
。 故障 现象 
o 阵列 上 创建 CHAP 用 户 后 添加 给 主机 启动 器 ， 并 在 主机 和 阵列 侧 分 别 启用 CHAP 认 
证 功能 后 建立 iSCSI 连接 。 修 改 阵 列 的 CHAP 用 户 名 称 ， 更 换 之 前 的 CHAP 用 户 ， 重 
启 主机 后 不 能 与 阵列 恢复 iSCSI 连接 ，ISM 会 显示 启动 器 为 “未 连接 ”状态 。 
。 原因 分 析 


o 应 用 服务 器 重新 启动 且 与 阵列 侧 恢复 iSCSI 链 路 的 过 程 中 ， 应 用 服务 器 侧 使 用 原 
有 的 CHAP 用 户 信息 ， 但 阵列 侧 使 用 的 是 更 改 后 的 CHAP 用 户 信息 。 两 端 CHAP 用 
户 信息 不 一 致 ， 导 致 CHAP 鉴 权 失 败 ， 无 法 恢复 链 路 。 


。 处 理 过 程 
o 手动 设置 主机 侧 CHAP 信 息 ， 然 后 重新 建立 连接 。 





™ 
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约 目录 


3. VIS 存 储 故 障 处 理 思路 和 方法 
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ur 


次 者 图 由“ 鼎 ] 吉 随 。 二 警告 旺 高 栈 国保 险 厢 全。 同志 中 作者 


1SCS 庄 机 二 品 
机 过 图 四 电 和 B9U Wm a 和 用 sswo 国 rc=o 
a 事 口 
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在 ISM 管 理 界 面 下 的 设备 信息 页 面 可 以 直观 的 查看 各 个 硬件 模块 的 运行 状态 ， 以 上 图 
为 例 : 被 红 框 圈定 的 电源 模块 的 健康 状态 为 故障 。 
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咯 》 故障 统 二 [7 逐 二 1 语 > 


OxwA006EOOOF 
党 多 

2012-09-25 15-1209 UTC*08.00 

还 司 盘 (huawewi-s5300-0_31) 伏 态 恒 沾 ， 无 法 访问 。 


5300-0_31) 异 常 ， 无 法 访问 。 


1、 光 纤 线 筑 连 扒 异 党 。 
2 、 迁 轻信 所 在 RAID 相 失效 * 


步 儿 1 请 检查 业 秀 倒 路 状态 ， 如 果 有 和 异常， 请 修复 。 手 作 完 质 后 ， 如 果 告 蔷 未 青 除 ， 请 转 步 强 2" 
步 独 2 请 检查 示 妖 盘 杖 态 ， 并 联系 技术 工程 师 * 
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在 ISM 管 理 界面 的 右上 方 可 以 看 到 各 个 告警 级 列 的 告警 数量 ， 直 接点 击 相应 的 故障 级 
别 图 标 可 以 打开 事件 管理 界面 ， 在 界面 中 可 以 看 到 所 有 详细 告警 信息 。 
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基本 设置 事件 日 去 
设计 时 病 置 理 本 人 f 二 I 
vcense 管理 


性 能 监控 
| 1 性 院 必 过 
坦 看 历史 汶 垃 的 所 


性 桥 寅 过 设置 
性 蓄 呈 过 文件 入 埋 

性 能 中 1 文件 忽 针 设置 
请 并 里 扩 闵 件 
功 民 机 看 


病 级 
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在 系统 配置 界面 的 导入 导出 部 分 可 以 对 配置 交 件 ， 运 行 数 据 和 系统 日 志 进行 导出 。 
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虚拟 存储 网 关 故 障 诊断 流程 


。 导出 系统 日 志 

。 登录 ISM 管 理 软件 

。 根据 事件 处 理 建 议 处 理 故 障 
。 收集 故障 信息 
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。 导出 系统 日 志 
在 系统 出 现 问题 时 ， 需 要 尽快 保存 日 志 信息 ， 以 便 对 问题 进行 确认 和 定位 原因 。 
在 寻求 华为 技术 有 限 公 司 技术 支持 上 时， 请 反馈 导出 的 系统 日 志 。 
。 登录 ISM 管 理 软件 
登录 ISM 管 理 软 件 ， 可 以 查询 YIS6600T1 的 运行 状态 、 是 否 有 告警 产生 。 
。 根据 事件 处 理 建议 处 理 故 障 
如 果 在 ISM 管 理 界面 中 查询 到 事件 ， 则 根据 事件 处 理 建 议 处 理事 件 。 
定位 故障 是 从 众多 可 能 原因 中 找 出 单一 原因 的 过 程 ， 通 过 分 析 、 上 比较 各 种 可 能 的 故障 
原因 ， 不 断 排除 不 可 能 因素 ， 最 终 确定 故障 发 生 的 具体 原因 。 
。 收集 故障 信息 


在 寻求 华为 技术 支持 时 ， 请 反馈 收集 的 故障 信息 。 
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VIS 系 统 人 硬件 故障 处 理 步 又 \ 


开始 


根据 告警 处 理 建议 处 理 故 障 
(对 于 已 经 更 换 类 故障 参考 告警 
指示 灯 定 位 待 更 换 的 FRU) 








收集 故障 信息 ”村 
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虚拟 化 存储 网 关 典 型 故障 


VIS 逻 辑 盘 故障 
VIS 仲 裁 盘 故 障 
主机 卷 异 常 
镜像 卷 关系 异常 
复制 卷 复 制 异常 
日 志 卷 错误 
节点 上 电 失 败 
FC 链 路 连接 异常 
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VIS 基 本 概念 介绍 \ 


元 数据 盘 (私有 盘 ) : 元 数据 盘 中 主要 存放 VIS 中 的 逻辑 盘 组 和 卷 的 配置 信 
息 。VIS 默 认 配 置 两 块 元 数据 盘 ， 此 两 块 元 数据 盘 是 互 为 几 余 的 。 一 旦 两 个 
元 数据 盘 全 部 故障 ，VIS 的 所 有 磁盘 组 和 卷 信息 都 丢失 ， 业 务 也 会 中 断 。 


仲裁 盘 (MO fencing 盘 ) : 用 于 VIS 集 群 成 员 关 系 变化 时 ， OA 


的 硬盘 ; 在 VIS 启 动 时 ， 已 配置 的 仲裁 盘 也 必须 在 位 。 

逻辑 盘 组 : 多 个 逻辑 盘 组 合 的 一 个 对 象 ， 是 虚拟 化 存储 管理 的 最 水 资 源 池 ; 
对 应 YVxVM 中 的 DG。 

卷 : 硬盘 虚拟 化 管理 的 逻辑 单元 ， 是 提供 给 主机 应 用 的 基本 对 象 ; 对 应 
VxVM 中 的 LV。 

逻辑 盘 : 虚拟 化 存储 管理 的 最 小 资源 。 对 应 VxVM 的 Sulbdisk， 对 应 阵列 的 
一 个 LUN。 


r DB Ww 
网 总 
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VIS 远 辑 盘 故障 诊断 思路 


重新 扫描 


与 阵列 连接 异 修复 链 路 异常 逻辑 盘 成 功 ? 
A ~ 


储 阵 联系 阵列 厂家 修 重新 扫描 
或 设置 异常 ? 办 复 阵 列 故障 的 逻辑 盘 成 功 ? 


联系 技术 支持 
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VIS 逻 辑 盘 故障 处 理 方 法 


1. 确 认 SFP 光 模块 与 FC 接 口 接触 良好 。 
2. 确 认 SFP 光 模块 的 扣 环 已 经 扣 好 。 

3. 确 认 光 纤 连接 端的 卡 口 已 经 卡 入 了 SFP 光 模块 中 。 
4. 确 认 光 纤 的 线 序 正确 。 

5. 登 录 ISM， 检 查 是 否 可 以 扫描 到 逻辑 盘 。 AL 
是 => 故障 排除 。 

否 => 请 进行 原因 2 的 排查 。 


1 请 保持 故障 环境 并 联系 存储 阵列 厂商 检 毒 并 修复 
责 异常 设置 。 

存储 阵列 故障 | 2. 登 录 ISM， 检 查 是 否 可 以 扫描 到 坎 葵 盘 。 

或 阵列 设置 异 | 是 -> 故障 排除 。 

否 => 请 保持 故障 环境 并 联系 技 下 支 持 工 程 师 进 行 处 
理 。 








™ 
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VIS 仲 裁 盘 故障 诊断 思路 


证 “| 修复 链 路 异常 并 仲裁 盘 状 态 
与 阵列 连接 异 重新 设置 仲裁 盘 恢复 正常 ? 
常 ? i 


存储 阵列 联系 阵列 厂家 修 仲裁 盘 状 态 
RAID 组 故障 ? 复 阵 列 故障 恢复 正常 ? 


否 
联系 技术 支持 
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VIS 仲 裁 盘 故障 处 理 方 法 





序号 问题 | 解决 方案 





1. 检 查 VIS6600T 与 仲裁 盘 所属 的 阵列 的 FC 主机 端 日 
|VIS6600T 与 促 Link 指 示 灯 状态 和 速率 指示 灯 状 态 是 否 正常 4 

1 “| 裁 盘 所 属 的 阵 |2. 重 新 连接 VIS6600T 与 仲裁 盘 所 属 的 阵列 后 在 ISM 
列 连接 异常 管理 界面 上 重新 设置 仲裁 盘 。 
3. 在 ISM 管 理 界 面 中 ， 检 查 仲裁 盘 的 告警 是 否 清除 。 
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。 针对 VIS6600T 与 仲裁 盘 所 属 的 阵列 连接 异常 
1 .检查 VIS6600T 与 仲裁 盘 所 属 的 阵列 的 FC 主机 端口 Link 指 示 灯 状态 和 速率 指示 灯 状态 是 
否 正 常 。 

是 => 请 进行 原因 2 的 排查 。 
否 => 请 继续 执行 步骤 1.2 
2 重新 连接 VIS6600T 与 仲裁 盘 所 属 的 阵列 后 ， 在 SM 管理 界面 上 重新 设置 仲裁 盘 。 
在 导航 树 上 选择 “所 有 设备 > VIS6600T > 存储 资源 > 逻辑 盘 ”。 
在 右 例 信 息 展示 区 单 击 “ 扫 描 逻 辑 盘 ”， 重 新 扫描 逻辑 盘 。 
扫描 罗 辑 盘 完成 后 ， 在 右 侧 信息 展示 区 单 击 “ 设 置 仲裁 盘 ”， 系 统 弹出 “设置 仲裁 
盘 ” 对 话 框 。 
完成 设置 仲裁 盘 的 操作 ， 单 击 “确定”。 
3. 在 SM 管理 界面 中 ， 检 查 仲裁 盘 的 告警 是 否 清除 。 
是 -> 故障 排除 。 否 => 请 进行 原因 2 的 排查 。 
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VIS 仲 裁 盟 故障 处 理 方 法 


序号 问题 解决 方案 





1. 请 保持 故障 环境 并 联系 存储 阵列 厂商 的 技术 区 插 卫 
i 程 师 ， 修 复 存储 阵列 的 RAID 组 故障 。 

障 ” ”|2. 在 SM 管理 界面 上 重新 设置 仲裁 盘 。 

| 3. 在 IsM 管 理 界面 中 ， 检 查 仲裁 盘 的 告警 是 做 清除 。 














Mb huawel 
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。 针对 仲裁 盘 所 属 阵列 的 RAID 组 故障 
1. 请 保持 故障 环境 并 联系 存储 阵列 厂商 的 技术 支持 工程 师 ， 
障 。 
2. 在 NM 管 理 界面 上 重新 设置 仲裁 盘 。 
在 导航 树 上 选择 “所 有 设备 他 VIS6600T > 存储 资源 > 


在 右 侧 信息 展示 区 单 击 / 归 撒 逮 辑 盘 ”， 重 新 扫描 逻辑 盘 。 


扫描 逻 辑 盘 完成 后 ， 在 右 侧 信息 展示 区 单 击 “ 设 置 仲裁 盘 ”， 系 统 弹出 “设置 仲裁 盘 


”对 话 框 。 

完成 设置 仲裁 熏 的 操作 ， 单 击 “ 确 定 ”。 

3. 在 NM 管 理 界面 中 /检查 仲裁 盘 的 告警 是 否 清除 。 

否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 


修复 存储 阵列 的 RAID 组 故 


逻辑 盘 ”。 


是 => 故障 排除 。 
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与 拔 播 或 更 换 线 级 故障 解决 ? 
该 异常 ? I 


在 应 用 服务 器 端 本 
ER 一 二 
存储 阵列 故障 ? 家 修复 存储 阵列 故障 一 





DD 4290 


主机 卷 异 常 故障 处 理 方法 


序号 问题 解决 方案 


1. 确 认 应 用 服务 器 与 VIS6600T 的 连接 方式 。 

2. 应 用 服务 器 与 VIS6600T 使 用 光纤 连接 。 

a. 在 设备 侧 检 查 VIS6600T 与 应 用 服务 器 连接 的 FG 主 机 
端口 link 指 示 灯 是 否 熄灭 。 

b. 拔 插 光 纤 或 更 换 光 纤 。 

c. 操 作 结束 后 ， 在 设备 侧 检查 VIS6600T 与 应 用 服务 器 连接 的 
| 应 用 服务 器 与 | FC 主 机 端口 link 指 示 灯 是 否 熄灭 。 

VIS6600T 的 连 1d. 在 应 用 服务 器 端 重 新 扫描 硬盘 ， 查 看 扫描 是 否 成 功 。 
| 接 异 常 3. 应 用 服务 器 与 VIS6600T 使 用 网 线 连接 ss 

a. 在 设备 侧 检 查 VIS6600T 与 应 用 服务 器 连接 的 iSCS| 主 
机 端口 link 指 示 灯 是 否 熄灭 。 

b. 拔 插 网 线 或 更 换 网 线 。 

<. 操 作 结 束 后 ， 在 设备 侧 检查 VIs6600T 与 应 用 服务 器 
连接 的 iSCSI 主机 端口 link 指 示 灯 是 个 熄灭 。 

d. 在 应 用 服务 器 端 重新 扫描 硬 扔 ， 查 看 扫描 是 否 成 功 。 
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1. 确 认 应 用 服务 器 与 YIS6600T1 的 连接 方式 。 
光纤 => 请 继续 执行 步骤 2。 
网 线 => 请 继续 执行 步骤 3。 
2. 应 用 服务 器 与 VIS6600T 使 用 光纤 连接 。 
gq. 在 设备 侧 检 查 VIS6600T 与 应 用 服务 器 连接 的 FC 主机 端口 link 指 示 灯 是 否 熄灭 。 
是 => 请 继续 执行 2.D。 否 所 > 请 进行 原因 2 的 排查 。 
b. 拔 插 光纤 或 更 换 光纤 。 
Cc. 操 作 结 束 后 ， 在 设备 侧 检 查 VIS6600T 与 应 用 服务 器 连接 的 FC 主机 端口 link 指 示 灯 是 否 
熄灭 。 
否 => 请 继续 执行 2.ds、 是 => 请 进行 原因 2 的 排查 。 
d. 在 应 用 服务 器 端 重新 扫描 硬盘 ， 查 看 扫描 是 否 成 功 。 
是 => 故障 排除 。 否 > 请 进行 原因 2 的 排查 。 
3. 应 用 服务 器 与 VIS6600T 使 用 网 线 连 接 。 
q. 在 设备 侧 检 查 VIS6600T 与 应 用 服务 器 连接 的 iSCSI 主 机 端口 link 指 示 灯 是 否 炸 灭 。 
是 => 请 继续 执行 3.D。 否 => 请 进行 原因 2 的 排查 。 





b; 拔 插 网 线 或 更 换 网 线 。 
C. 操 作 结 束 后， 在 设备 侧 检 查 VIS6600T 与 应 用 服务 器 连接 的 iSCSl 主 机 端口 link 指 示 灯 是 
否 熄灭 。 


否 => 请 继续 执行 3.d。 是 => 请 进行 原因 2 的 排查 。 


d. 在 应 用 服务 器 端 重新 扫描 硬盘 ， 查 看 扫描 是 否 成 功 。 
是 => 故障 排除 。 否 => 请 进行 原因 2 的 排查 。 
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主机 卷 异常 故障 处 理 方 法 


1. 如 果 在 VIS6600T 开 启 了 CHAP 认 证 ， 检 查 在 应 用 服务 器 端 是 否 
< CHAP 认 证 。 
是 => 请 进行 原因 3 的 排查 。 久 
2 |CHAP 设 置 有 误 | 否 => 在 应 用 服务 器 端 开 启 CHAP 认 证 ， 详 细 信 息 请 参见 应 
务 器 相关 资料 。 开 启 CHAP 认 证 后 ， 请 继续 执行 步骤 2。 
2. 在 应 用 服务 器 端 重新 扫描 硬盘 ， 查 看 扫描 是 否 成 
是 => 故障 排除 。 否 => 请 进行 原因 3 的 排查 。 


irae te 
是 => 请 牛人 列 扒 相关 明和 二 主 的 了 人 
进入 ISM 管 理 界面 重新 执行 扫描 逻辑 盘 等 操作 。 
3 | 存储 阵列 故障 “| 否 => 请 保持 故障 环境 并 联系 技术 支 进行 处 理 。 
2. 在 应 用 服务 器 端 重新 扫描 硬盘 ， 否 成 功 。 
是 => 故障 排除 。 
否 => 请 保持 故障 环境 并 联系 
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镜像 卷 关系 异常 故障 诊断 思 


存储 阵列 族 陈 ? 修复 存 包 阵 列 故障 -mm 


镜像 链 路 异常 ? 修复 镜像 链 路 故障 解决 ? 


联系 技术 支持 
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镜像 卷 关系 异常 故障 处 理 方 ; 


序号 问题 解决 方案 


1. 请 检查 存储 阵列 是 否 发 生 故 障 。 

2. 请 根据 存储 阵列 的 相关 说 明 修复 故障 ， 检 查 故 障 是 否 

存储 阵列 故障 清除 。 

3. 登 录 ISM 管 理 界面 ， 重 新 执行 扫描 逻辑 盘 和 恢复 镜像 
的 操作 。 在 ISM 管 理 界 面 上 查看 镜像 关系 是 否 正 常 。 








1. 请 检查 VIS6600T 与 存储 阵列 的 连接 状态 是 否 为 异常 。 

2. 请 修复 VIS6600T 与 存储 阵列 的 连接 ， 检 查 连接 是 否 修 

| 镜像 链 路 异常 复 。 

3. 登 录 ISM 管 理 界面 ， 重 新 执 簿 扫 换 逻辑 盘 和 恢复 简 像 
的 操作 。 在 ISM 管 理 界面 上 查看 镜像 关系 是 否 正常 。 
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。 针对 存储 阵列 故障 
1. 请 检查 存储 阵列 是 否 发 生 故 障 。 
是 => 请 继续 执行 步骤 2。 否 => 请 进行 原因 2 的 排查 。 
2. 请 根据 存储 阵列 的 相关 说 明 修复 故障 ， 检 查 故 障 是 否 清 除 。 
是 => 请 继续 执行 步骤 3。Y 否 => 请 保持 故障 环境 并 联系 存储 阵列 厂商 技术 支持 工程 
师 进 行 处 理 。 
3. 登 录 ISM 管 理 界面 ， 重 新 执行 扫描 逻辑 盘 和 恢复 镜像 的 操作 。 在 ISM 管 理 界 面 上 查看 镜 
像 天 系 是 否 正 常 。 
是 => 故障 排除 。 否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
。 针对 镜像 链 路 有 异常 
1. 请 检查 存储 阵列 是 否 发 生 故 障 。 
是 二 > 请 继续 执行 步骤 2。 否 => 请 进行 原因 2 的 排查 。 
2. 请 根据 存储 阵列 的 相关 说 明 修 复 故 障 ， 检 查 故 障 是 否 清除 。 
是 `=> 请 继续 执行 步骤 3。 否 => 请 保持 故障 环境 并 联系 存储 阵列 厂商 技术 支持 工程 
师 进 行 处 理 。 
3: 登 录 ISM 管 理 界面 ， 重 新 执行 扫描 逻辑 盘 和 恢复 镜像 的 操作 。 在 ISM 管 理 界 面 上 查看 镜 
像 关系 是 否 正常 。 
是 => 故障 排除 。 否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
0D 433 
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复制 卷 复制 异常 故障 ; 


生产 、 灾 是 
> < 


S6600T 集 六 Online 信 群 资源 组 


资源 组 不 正常 
联系 技术 支持 


™、 
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复制 卷 复制 异常 故障 处 理 方 ; \ 
问题 | 解决 方案 


1. 登 录 ISM， 检 查 端口 的 状态 。 

2. 在 ISM 导 航 树 中 选择 “所 有 设备 > VI56600T > 逻 
辑 盘 组 ”， 选 择 创 建 了 复制 一 致 性 组 的 逻辑 盘 
gd 

, i 心 的 虚拟 iP 地址 。 

接 不 畅通 3. 使 用 相同 方法 获取 灾 备 中 心 的 虚拟 I 地址。 

4. 登 录 CLI (通过 Putty 等 工具 ) ， 检 查 生产 中 心 与 
灾 备 中 心 的 连接 状态 。 

5. 重 新 启动 复制 卷 复制 。 

6. 检 查 复制 卷 复制 异常 或 中 断 的 情况 是 否 消失 。 
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1. 登 录 ISM， 检 查 端口 的 状态 。 
通过 执行 发 现 设备 操作 ， 分 别 发 现 生 产 中 心 的 YIS6600T 和 灾 备 中 心 的 VIS6600T。 进 入 “ 事 
件 管理 ”对 话 框 ， 查 看 是 否 有 端口 的 相关 告警 。 如 果 有 ， 请 根据 修复 建议 进行 修复 。 


2. 在 ISM 导 航 树 中 选择 “所 有 设备 > VIS6600T > 逻辑 盘 组 ”， 选 择 创 建 了 复制 一 致 性 组 的 
逻辑 盘 组 ， 选 择 “ 复 制 一 致 性 组 ”页 签 * 获取 生产 中 心 的 虚拟 IP 地 址 。 

3. 使 用 相同 方法 获取 灾 备 中 心 的 虚拟 PR 地 址 。 

4. 登 录 CLI (通过 Putty 等 工具 ),, 只 查 生产 中 心 与 灾 备 中 心 的 连接 状态 。 

Q. 登 录 生 产 中 心 的 VIS6600T 主 节点 的 CLI 界 面 ， 使 用 命令 YXPping XXXXXXXXXXXX 
(XXX.XXX.XXX.XXX 代 表 灾 备 中 心 的 虚拟 IP 地 址 ) 查看 生产 中 心 与 灾 备 中 心 连接 是 否 畅 通 。 
b. 登 录 灾 备 中 心 的 VIS6600T 主 节点 的 CLI 界 面 ， 使 用 命令 YXping XXXXXXXXX.XXX 
(XXX.XXX.XXX.XXX 代 表 生 产 中 心 的 虚拟 IP 地 址 ) 查看 生产 中 心 与 灾 备 中 心 连接 是 否 畅 通 。 
说 明 : 

在 CL 界面 输入 VXdctl-c mode 可 以 辨别 主 控制 器 。 


Cll:admin>Vxdetl -c mode 
Mode: enabled;cluster acfive - MASTER 
masferyVIS$6600T 6695 1 


如 果 生 产 中 心 与 灾 备 中 心 网 络 不 通 ， 请 检查 生产 中 心 与 灾 备 中 心 连接 的 iSCSI 主机 端口 是 否 
在 同一 网 段 ， 如 果 不 在 同一 网 段 ， 请 为 iSCSIl 主 机 端口 配置 相应 的 路 由 信息 。 配 置 路 由 的 详 
细 信 息 请 参见 《Oceanstor VIS6600T 虚拟 智能 存储 系统 配置 指南 》。 此 外 需要 检查 网 络 
中 的 防火 墙 是 否 屏蔽 了 复制 的 端口 号 。 

5. 重 新 启动 复制 卷 复制 。 

6. 检 查 复 制 卷 复制 异常 或 中 断 的 情况 是 否 消失 。 

是 => 故障 解决 。 否 => 进行 原因 2 的 排查 。 
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复制 卷 复制 异常 故障 处 理 方 法 


原因 2: VIS6600T 集 群 资源 组 不 正常 





解决 方案 








1. 登 录 CLI (通过 Putty 等 工具 ) ， 执 行 命令 hastatus -sum 查 看 主 节点 的 
ClusterService_X (X 表 示 虚 拟 IP 的 序号 ) 资源 组 的 状态 。 


. “OFFLINE” => 请 继续 执行 
步骤 2。 

. “FAULT” => 请 继续 执行 步 
又 3。 

. “ONLINE” => 请 保持 故障 
环境 并 联系 支持 工程 师 。 
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复制 卷 复 制 异常 故障 处 理 方法 


原因 2: VIS6600T 和 集群 资源 组 不 正常 


2. 请 执行 如 下 命令 : nd 
hagrp -online ClusterService_X -sys VIS6600T_6695_1 (在 VIS6600T_6695_1 上 online 资 源 ) 。 入 、 
请 继续 执行 步骤 4。 

3. 请 依次 执行 命令 : 

hagrp -clear ClusterService_X -sys VIS6600T_6695_1 (清除 VIS6600T_6695_1 的 fault 标 记 ) 。 C0、 

hagrp -online ClusterService_X -sys VIS6600T_6695_1 (在 VIS6600T_6695_1 上 online 资 源 ) 。 Uy 

请 继续 执行 步骤 4。 

4. 执 行 命令 hastatus -sum， 查 看 主 节点 的 ClusterService_X (X 表 示 虚 拟 IP 的 序号 ) 资源 组 的 状态 是 否 为 “ONLINE”。 
是 => 故障 解决 。 否 => 请 继续 执行 步骤 5。 

5. 请 执行 如 下 命令 : vxrestartvvr -f 和 vxrestartvxvm -f。 多 

6. 执 行 命令 hastatus -sum， 查 看 主 节点 的 ClusterService_X (X 表 示 虚 拟 IP 的 序号 态 是 否 为 “ONLINE”。 
是 => 故障 解决 。 否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
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日 志 卷 错误 故障 诊断 思路 


分 离 并 平 新 挂 
接 日 志和 疮 
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。 现象 描述 
在 配置 了 复制 一 致 性 组 的 情况 下 ， 由 于 日 志 卷 错误 ， 导 致 生产 中 心 的 数据 无 法 同步 到 


由 于 重新 启动 、 逻 辑 盘 故障 修复 等 原因 ， 可 能 会 导致 日 志 卷 的 头 部 存在 部 分 脏 数 据 或 
日 志 卷 故障 ， 从 而 导致 AVC 进 入 Pass-thru 模 式 ， 不 能 进行 同步 。 


DD 438 0 


日 志 卷 错误 故障 处 理 方法 


原因 1: 由 于 重新 启动 、 逻 辑 盘 故障 修复 等 原因 ， 可 能 会 导致 日 志 卷 的 头 部 存在 部 分 脏 数 据 或 日 志 
卷 故 障 ， 从 而 导致 RVG 进 入 pass-thru 模 式 ， 不 能 进行 同步 。 


解决 方案 


1. 登 录 CLI (通过 Putty 等 工具 ) ， 执 行 命令 vxvol -g diskgroup -f dis srl， 将 日 志 卷 从 复制 一 致 性 组 中 
分 离 出 来 。 其 中 diskgroup 为 逻辑 盘 组 名 称 ，sr/ 为 日 志 卷 名 称 。 
例如 : 先 将 日 志 卷 svol 从 逻辑 盘 组 muldg 中 分 离 出 来 ， 然 后 再 使 用 命令 vxprint -g muldg 查 看 
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日 志 卷 错误 故障 处 理 方法 


2 .使 用 命令 wxvol -g diskgroup aslog rvg srl 将 分 离 出 来 的 日 志 卷 重新 挂 接 回复 制 一 致 性 组 。 
其 中 diskgroup 为 逻辑 盘 组 名 称 ，rvg 为 复制 一 致 性 组 名 称 ，sr 为 日 志 卷 名 称 。 

3 .执行 开始 同步 操作 。 ~ 
a 登录 到 ISM 管 理 界面 ， 在 导航 树 上 选择 “逻辑 盘 组 ”节点 中 需要 执行 同步 的 逻辑 盘 

b. 在 右 侧 信息 展示 区 的 “复制 一 致 性 组 ” ww 
< 单 击 “ 灾 备 应 用 管理 ”。 系 统 弹出 “ 灾 备 应 用 管理 ”对 话 框 。 /个 

d 单 击 “ 设 置 复制 状态 。。 系 统 弹出 “设置 复制 状态 ”对 话 框 。 Uy 

e 单 击 “ 开 始 ”。 系 统 弹出 “开始 复制 一 致 性 组 ”对 话 框 。 BS 

f 单 击 “ 确 定 ” 。 系 统 提示 操作 成 功 。 


4. 重 新 启动 复制 业务 。 ®N 
5. 检 查 日 志 卷 错误 无 法 开始 同步 的 情况 是 否 消失 。 《< 
师 


是 => 故障 排除 。 否 => 请 保持 故障 环境 并 联系 技术 支持 于 程 师 进 衙 处 理 。 





点 上 电 失败 诊断 思路 


/AN 
现象 描述 


o 在 菜单 栏 上 选择 “事件 > 事件 管理 ”， 在 弹出 的 “事件 管理 ” 
对 话 框 的 “故障 列表 ”中 有 “节点 上 电 失 败 ”的 告警 。 
可 能 原因 


口 原因 1: 


X 


本 地 软件 版 本 与 主 节点 软件 版 本 不 一 致 。 
o 原因 2: 本 地 CVM 启 动 失败 。 


o 原因 3: 节点 个 数 超过 License 限 制 。 
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市 点 上 电 失败 处 理 方法 


解决 方案 


1. 登 录 CLI (通过 Putty 等 工具 ) ， 执 行 showloadfailreason 命 令 ， 显 示 上 电 失 败 的 错误 
信息 。 


admin:/>showloadfailreason -c xx 





System Load Failure Reason & 


实 灾 灾 灾 火灾 灾 灾 炎炎 炎炎 实 灾 灾 灾 灾 灾 炎炎 灾 灾 灾 灾 炎炎 灾 太 炎炎 火灾 炎炎 文 广 


*Node ID xx 本 
* Reason XXXXXXXXXXXXXXX 突 


灾 灾 火灾 灾 灾 火灾 炎炎 炎炎 兴 实 灾 灾 类 到 灾 灾 炎炎 炎炎 炎炎 炎炎 灾 灾 灾 灾 炎炎 大 大 


其 中 “xx” 表 示 节 点 数 。 

如 果 界 面 显示 信息 如 下 : 

System Check Local Version Failure => 请 直接 执行 步骤 2~ 步 又 36 
Local Start CVM Failure => 请 直接 执行 步骤 4~ 步 又 8。 

Node Number of License ls Not Enough => 请 直接 执行 步骤 9。 
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市 点 上 电 失败 处 理 方法 


致 。 


admin:/>showcontroller 


2. 执 行 showcontroller 查 看 是 否 存在 某 个 节点 的 版 本 号 “Release” 与 主 节点 版 本 号 “Release” 不 一 








Controller Information 
Controller ID 
Frame ID 
Slot ID 
Controller IP | 100.184.125.97 


Master | No 
Status | normal 


BIOS Version | 06.03.03T01 
BMC Version | 3.04T13 


Master CPLD Version | 230T01 
Standby CPLD Version | 320T02 
Location | Up 
Temperature Status | Normal 
Voltage Status | Normal 





[1 3 
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Release |2.05.03.104T.02 


Operation Software Version |2.05.03.104T.02 


Controller ID 11 以 
Frame ID I0 

Slot ID 10 

Controller IP | 100.184.125.98 
Master | Yes 

Status | normal 

Release | 2.05.03.104 下 02 

BIOS Version | 06.03.03T01 

BMC Version | 3.04T13 

Operation Software Version |2.05.03.164T.02 
Master CPLD Version | 230T01 

Standby CPLD Version | 32g9To2 

Location | Up 

Temperature Status | Normal 

Voltage Status | Normal 








是 一 请 继续 执行 步骤 3。 否 一 请 保持 故障 环境 并 联系 技术 支持 焉 程 师 进行 处 理 。 








襄 姐 ′ 疾 CL/ 纵 面 输 人 VXQCH/-cmode 可 以 花王 产 芳 后 镶 息 。 


admin:/>vxdctl-c mode 


Mode: enabled: cluster active - MASTER 


master: VIS_6796_0 
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节点 上 电 失 败 处 理 方法 


3. 将 该 节点 重新 启动 ， 检 查 该 节点 是 否 启动 成 功 。 

是 => 故障 排除 。 否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 

4. 执 行 hastatus -sum 查 询 集群 状态 是 否 正常 。 

是 => 请 继续 执行 步骤 5。 否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 


令 
5. 在 集群 各 个 节点 上 执行 vxappend shwfendsk。 入 
检查 仲裁 盘 个 数 是 否 都 为 3 个 ， 且 3 个 仲裁 盘 的 “STATUS” 都 为 “Normal”。 
是 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 否 => 请 继续 执行 步骤 6。 
6. 请 在 得 到 技术 支持 工程 师 的 确认 后 ， 断 开业 务 。 0、 
7. 执 行 vxappend clrfen 命 令 ， 清 除 仲裁 盘 配置 。 Uy 
8 重新 启动 系统 ， 检 查 系统 启动 是 否 成 功 。 BS 
是 => 故障 排除 。 否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进行 处 理 。 
系统 启动 完成 后 ， 需 要 重新 配置 仲裁 盘 。 详 细 信息 请 参见 Ce 安装 指南 》 初 
始 配置 章节 。 
9. 执 行 showlicenseresource 查 询 License 支 持 的 节点 数 。 人 ’ 


检查 实际 节点 数 是 否 超 过 licence 支 持 的 节点 数 。 
是 => 请 购买 新 的 license。 否 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 迪 





2 江 拔 揪 成 更 换 光纤 半 


更 换 光 模块 





FC 交换 机 配置 铺 讽 六 > 
FC 仿 输 过 六 不 区 卫 ? 入 调整 FC 传输 过 玉 -> 


Viemrcm | 修复 VIS 的 FC 痪 口 相关 也 四 -< 
联系 技术 支持 








Copyright © 2013 Huawei Technologies Co., Ltd. All rights reservéd. 7 HUAWEI 





0 445 0 


。 针对 光纤 连接 
]: 


由 
2. 





光纤 连接 异常 
或 光纤 出 现 故 
障 


1. 在 设备 侧 检 查 FC 主 机 端口 link 指 示 灯 是 否 熄灭 。 

2. 拔 插 光 纤 或 更 换 光纤 。 

3. 操 作 结 束 后 ， 在 设备 侧 检查 FC 主机 端口 lin 扣 地 
灯 是 否 熄灭 。 





光 模 块 出 现 故 
障 








1. 依 次 更 换 VIS6600T 和 应 用 服务 器 上 连接 异常 的 
光 模 块 。 

2. 操 作 结 束 后， 在 设备 侧 检查 EC 主机 端口 ink 指 示 
灯 是 否 熄灭 
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异常 或 光纤 出 现 故 障 


在 设备 侧 检 查 FC 主 机 端口 ink 指 示 灼 是 否 熄灭 。 
是 => 请 继续 执行 步骤 2。 否 = 请 进行 原因 2 的 排查 。 


拨 插 光纤 或 更 换 光纤 。 


注意 : 拔 插 光 纤 的 过 程 需要 注意 ， 在 拔 出 光纤 后 ， 等 待 10 秒 ， 再 插入 光纤 。 
操作 结束 后 ， 在 设备 侧 检 查 FC 主 机 端口 ink 指 示 灯 是 否 熄灭 。 

否 => 故障 排除 。 是 => 请 进行 原因 2 的 排查 。 
。 针对 光 模 块 出 现 故 障 
依次 更 换 VIS6600T 和 应 用 服务 器 上 连接 异常 的 光 模 块 。 


操作 结束 后 ， 在 设备 侧 术 
否 => 故 障 排除 。 是 


仔 查 FC 主 机 端口 ink 指 示 灯 是 否 熄灭 。 


=> 请 进行 原因 3 的 排查 。 





FC 交换 机 配 
置 错误 


1. 联 系 FC 交 换 机 厂商 ,检查 交换 机 的 配置 及 zone 划 分 
等 是 否 正 确 。 

2. 操 作 结 束 后 ， 在 设备 侈 检查 FC 主 机 端 中 ink 指 条 灯 是 
否 熄灭 。 








L 


应 用 服务 器 FC 
HBA 卡 速率 与 
VIS6600T 的 FC 
主机 端口 速率 
不 匹配 





| 


1. 记 录 应 用 服务 器 中 FC HBA 卡 设置 的 工作 速率 。 

2. 确 认 FC 主 机 端口 速率 与 服务 器 是 否 寺 至 

3. 将 VIS6600T 的 FC 主机 端口 的 速率 调整 为 与 应 用 服务 
器 FC HBA 卡 的 速率 一 致 。 

4. 操 作 结束 后 ， 在 设备 侧 检查 EC 主机 端口 link 指 示 灯 是 
否 熄灭 。 
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针对 FC 交 换 机 配置 错误 


. 联系 FC 交换 机 厂商 ， 
. 操作 结束 后 ， 


否 => 故障 解决 。 是 => 请 进 
针对 应 用 服务 器 FC HBA 卡 速率 与 VS6600T 的 FC 主 机 端口 速率 不 匹配 

. 记录 应 用 服务 器 中 FC HBA 盯 设置 的 工作 速率 。 请 参见 应 用 服务 器 相关 资料 。 
. 确认 FC 主 机 端口 速率 与 服务 器 是 否 一 致 。 

在 ISM 管 理 界面 ,选择 “所 有 设备 > VIS6600T > 设备 信息 ” ; 
“业务 控制 单元 > 端口 ”， 


口 


口 


口 


选择 


在 右边 的 信息 


卡 工 作 速 率 是 否 相同 。 
是 => 请 保持 故障 环境 并 联系 技术 支持 工程 师 进 行 处 理 。 
否 => 请 继续 执行 步 又 4。 


将 VIS6600T 的 FC 主 机 端口 的 速率 调整 为 与 应 用 服务 器 FC HBA 卡 的 速率 一 致 


操作 结 





检查 交换 机 的 配置 及 zGne 划 分 等 是 否 正确 。 
在 设备 侧 检查 FC 主 机 端 咎 link 指 示 灯 是 否 熄灭 。 


进行 原因 # 的 排查 


吉 束 后 ， 在 设备 侧 检查 FC 主 机 端口 ink 指 示 灯 是 否 熄灭 。 
否 => 故障 排除 。 是 => 请 进行 原因 5 的 排查 。 


J 
Mb huawel 


展示 区 查看 FC 主机 端口 的 “配置 速率 ”与 相应 的 应 用 服务 器 FC HBA 


0 4470 


FC 链 路 连接 异常 诊 





1. 确 认 FC 端 口 配置 。 
VIS6600T 的 FC 2. 请 根据 具体 组 网 环境 修改 FC 主机 端口 的 各 项 配 
5 “| 主机 端口 相关 | 置 。 & 
Pe 3. 操 作 结 束 后 ， 在 设备 侧 检 查 FC 主 机 端 占 | 太 K 指 示 
灯 是 否 熄灭 。 
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。 针对 VIS6600T 的 FC 主机 端口 相关 配置 错误 
1. 确认 FC 端口 配置 。 
o ”登录 ISM， 点 击 “ 所 有 设备 > VIS6600T > 设备 信息 > 业务 控制 单元 > 端口 ” 
o 在 右 侧 信息 展示 区 中 选择 “FC 主机 端口 ”页 签 
o 分 别 选 择 各 FC 主机 端 印 ,yg 点 击 “ 修 改 ”; 
o 系统 弹出 “修改 FC 主机 端口 ”对 话 框 ; 
o 分 别 检 查 各 FG 主 机 端口 的 “配置 速率 ”、 “端口 模式 ”的 配置 项 是 否 正 确 。 
是 => 请 保持 故障 环境 并 联系 技术 工程 师 。 否 => 请 继续 执行 步骤 4。 
2. 请 根据 具体 组 网 环境 修改 FC 主机 端口 的 各 项 配置 。 
3， 操 作 结束 后 ， 在 设备 侧 检 查 FC 主 机 端口 ink 指 示 灯 是 否 熄灭 。 
否 = 六 故障 解决 。 是 => 请 保持 故障 环境 并 联系 技术 工程 师 。 


1. 故障 诊断 处 理 的 原则 流程 有 哪些 ? 
2. 连接 SAN 存 储 的 主机 业务 中 断 ， 需 要 如 何 解决 ? 
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DD 450D0 


@ 总 i 和 


e 故障 诊断 原则 ， 流程 和 方法 
。 SAN 存 储 故 障 处 理 思路 和 方法 
e VIS 存 储 故 障 处 理 思路 和 方法 
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Mb huawel 


@ 习题 


。 判断 题 
1.， 故障 诊断 应 先 看 高 级 别 告警 再 看 低级 别 告警 (Tof PF) 
。 多 选 题 
1 故障 定位 的 主要 方法 有 ? (  ) 
A. 重 启 系统 


B. 告 警 信息 分 析 
C. 断 开业 务 
D. 茶 换 部 件 
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习题 答案 
判断 题 : 1.T 
单 选 题 : 1.BD 


DD 451D0 


从 
oy, | 
做 


Thank you 
www.huawei.com 





HC120920006 统一 存储 系统 性 能 与 
优化 





WW 


ww ww 
HUAWEI 
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< 
lo 


2， 


HC120920006 
统一 存储 性 能 与 优化 
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DD 45600 


目标 
。 学 完 本 课程 后 ， 您 将 能 
悉 系统 性 能 指标 
悉 影 响 性 能 的 关键 因素 及 技术 
悉 性 能 诊断 和 调 优 方法 
熟悉 性 能 测试 工具 和 方法 
o 熟悉 SAN 存 储 系统 常见 性 能 故障 排除 
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屿 目录 


性 能 调 优 概述 
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系统 流程 与 瓶颈 点 


软 中 断 过 高 
上 下 文 切换 过 高 
1/0 等 待 过 高 


应 用 架构 与 逻辑 Ss 


大 量 页 面 交 换 一- 
利用 率 80% | 硬盘 类 型 | IOPS/ 延 迟 | 。 带 窗 
内 存 命中 率 低 | >2000/1ms 100 MBYs 


15K HDD 200/10ms 30'MB/s 








10K HDD 150/15ms 2O MB/s 
队列 深度 <5 7.2K HDD 50/20ni9 10 MB/s 


带宽 利用 率 80% 


前 后 端 通道 利用 率 8 和 
带宽 利用 率 80% 过 人 省 用 ao、 
重 传 和 误 码 较 多 0% 为 


OLTP 业 务 1/0 延 迟 >20ms 
~、 深度 >10 
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如 左 图 所 示 ， 风 辑 模 块 为 业务 系统 中 的 软件 部 分 ， 而 硬件 资源 为 业务 系统 中 的 硬件 部 分 。 
当 用 户 请 求 下 发 时 ， 业 务 系统 按 至 上 而 下 的 顺序 由 各 逻辑 模块 对 IO 请求 进行 响应 和 处 理 。 


硬件 资源 为 各 逻辑 模块 的 正常 工作 提供 支持 。 一 旦 逻辑 模块 在 设计 和 配置 上 不 合理 ， 会 
直接 引起 硬件 资源 衰竭 、 响 应 缓慢 或 受到 限制 ， 导 致 性 能 问题 的 出 现 。 


在 性 能 调 优 时 ， 我 们 需要 在 明确 性 能 需求 的 前 提 下 ， 以 系统 IO 〇 流程 为 线索 ， 确 定 具 体 哪 
种 硬件 资源 成 为 瓶颈 ， 是 由 什么 原因 导致 的 ， 再 结合 逻辑 模块 的 设计 与 配置 进行 优化 。 


CPU 作 为 整个 系统 的 大 脑 六 是 最 重要 的 资源 ， 它 被 如 下 应 用 所 占用 : 
。 ”OS 内核 运 行 及 系统 调用 用 户 应 用 程序 运行 系统 触发 的 软 、 硬 中 断 处 理 
。 ”系统 上 下 文 切换 
。 lowait 
。 ”虚拟 机 运行 
由 于 CPU 资 源 工作 繁忙 ， 很 容易 成 为 整个 系统 的 主要 浇 有 天。CPU 利 用 率 是 判定 CPU 是 否 


成 为 浇 开 的 主要 依据 . 如 右 图 所 示 ， 当 CPU 利 用 率 大 于 ?0% 时 ， 意 味 着 CPU 已 成 为 系统 沐 
颈 ， 需 结合 CPU 性 能 分 析 工 具 对 导致 CPU 出 现 瓶 颈 的 应 用 进行 详细 分 析 和 优化 。 


DD 458D0 


性 能 上 瓶颈 分 析 思 路 


— 
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。 必 备 条 件 

1. 熟悉 整个 系统 的 架构 与 业务 特性 

2. 知道 性 能 问题 发 生 的 现象 与 触发 条 件 
3. 熟练 掌握 各 模块 的 性 能 监控 王 具 
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架构 优化 


调 优 顺 序 成 本 最 低 
日 走 收 效 取 分 
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。 性 能 调 优 成 本 分 析 
o 一 套 业 务 系统 的 性 能 是 由 系统 中 的 性 能 短 板 决 定 的 ， 每 套 业 务 系统 在 不 同 的 业务 特 
性 下 都 存在 短 板 。 
o 任何 优化 都 存在 限制 ， 做 超出 实际 需求 的 优化 都 是 时 间 和 金钱 的 浪费 。 


系统 调 优 流程 


Col i 1 iT HUAWE 
pyright © 2013 Huawei Technologies Co., Ltd. All rights reserved KD 
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常用 术语 解释 


磁盘 的 IO 响 应 很 慢 ， 导 致 该 磁盘 的 读 写 性 能 明显 低 于 其 他 磁盘 


在 存储 的 Cache 中 有 ， 但 是 在 存储 的 磁 扣 上 没有 的 数据 。 忆 
于 


。 。。 | 为 确保 数据 一 致 性 ， 为 完成 某 个 IO 的 写 操作 而 导致 的 多 作物 
写 您 罚 | 操作 
入 
为 完成 读 写 操作 ， 磁 头 在 电路 控制 下 径 向 移动 到 指定 磅 衣 


,| 为 完成 读 写 操作 ， 磁 盘 高 速 旋转 ， 等 待 盘 片 旋转 到 确 
所 需要 花费 的 时 间 
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性 能 指标 简介 


。 |/O per second 。 常 以 MB/s 为 单位 
。 每 秒 钟 存储 可 以 处 理 的 。 即 每 秒 存储 可 以 处 理 的 数 
IO 数目 据 量 





。 从 IO 下 发 到 IO 〇 处理 完 成 的 时 间 。 衡 量 方式 : 最 大 值 s. 最 小 值 、 

。 常 以 ms 为 单位 均 方差 

。 常 用 指标 : 平均 响应 时 间 、 最 。 最 常用 的 方式 : 约 方 差 / 平 
大 响应 时 间 均值 * 100% 
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IOPS、 带 宽 和 响应 时 间 是 IO 性 能 最 核心 的 性 能 指标 ， 直 接 反映 当前 业务 的 IO 性 能 状况 
波动 率 是 衍生 性 能 指标 ， 对 于 某 些 需要 恒定 性 能 输出 的 业务 ， 性 能 波动 过 大 会 直接 导致 
业务 故障 
。 IOPS 与 带宽 的 关系 
带宽 =IOPS* 平均 IO 大 小 
。 IOPS 测 试 常用 小 IO ， 带 宽 测 试 常用 大 IO 
。 IOPS 与 响应 时 间 的 关系 


number of worker xnumber of outstanding IO x 1000 / IOPS = Average |/O 
Response Time(ms) 


。 IOPS= 并 发 系数 ID 平均 啊 应 时 间 


什么 是 性 能 问题 ? 


性 能 数据 波动 大 ， 稳 定性 不 够 
性 能 值 在 不 同 版 本 之 间 变 化 明显 X 


性 能 数据 不 能 满足 测试 的 需求 


IO 延迟 时 间 长 ， 用 户 明显 感觉 业务 响应 慢 
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星 
四 9 
二 
区 
VY 
RT 
埋 
起 
攻 





影响 性 能 的 关键 因素 及 技术 


性 能 诊断 和 调 优 
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存储 配置 对 性 能 的 影响 


RAID 组 级 别 


LUN 归 属 
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RAID 组 级 别 


全 RAID0O 没 有 太 多 的 实际 使 用 场景 


RAID6 分 析 方 法 类 似 于 RAID5， 且 本 身 性 能 与 
RAID5 存 在 一 些 差 异 


A 
应 用 中 主要 使 用 的 RAID 级 别 是 RAID10 和 RAID5 
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RAID 组 级 别 作为 一 种 算法 ， 有 机 的 将 各 个 分 散 的 磁盘 通过 某 种 方式 组 合 到 了 一 起 
， 并 进行 条 带 化 的 处 理 。 使 得 多 个 磁盘 可 以 同时 有 效 的 工作 ， 有 效 的 提升 系统 整体 处 
理 IO 的 和 E 力 ， 提 高 了 数据 的 安全 性 ; 
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RAID 组 级 别 一 RAID5 \ 


。 满分 条 写 

需要 修改 整个 分 条 的 所 有 分 条 单元 ， 校 验 数 据 由 新 写 入 的 数据 计算 
。 读 改 瑟 (小写) 

要 写 入 的 分 条 单元 数目 不 足 磁盘 数目 的 一 半 ， 新 的 校 验 数据 - 老 数 闫 


XOR 新 数据 XOR 老 校 验 数 据 
。 重 构 写 (大写) 

要 写 入 的 分 条 单元 数目 超过 磁盘 数目 的 一 半 ， 新 的 校 验 数据 = 新 的 数 
据 XOR 不 需要 修改 的 分 条 
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小 写 过 程 是 : 依次 读 取 需 要 修改 的 分 条 上 的 人 数据 和 旧 的 校 验 数据 ， 根 据 如 下 公 
式 计算 新 的 校 验 数 据 ， 并 将 新 数据 和 新 的 校 验 数据 写 盘 。 


DD 4700 


RAID 组 级 别 一 RAID5 


。 最 小 操作 单元 : 下 发 IO 的 大 小 ; 
。 小 写 优化 : 


f 人 
NS 
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RAID 组 级 别 一 RAID5 小 写 


。 小 写 操作 步骤 


下 发 数据 三 到 


RAID 处 理 模块 


1) 下 发 数据 块 (数据 块 小 于 分 条 数据 量 一 半 ) 
2) RAID 读 数据 
3) 读 上 来 的 数据 异 或 


4) 计算 新 校 验 数 据 半 小 写 模式 ) 
5) 覆盖 写 目 标 分 条 单元 
6) RAID 写 数据 


有 Sa 
人 
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RAID 组 级 别 一 RAID5 大 与 


。 大 写 操作 步 又 
= 


下 发 数据 





RAID 处 理 模块 











1) 下 发 数据 块 (数据 块 大 于 分 条 数据 量 一 半 ) 3) 覆盖 与 内 标 分 条 单元 


2) RAID 读 数据 弘 计算 新 校 验 数 据 (大 写 模式 ) 
5)SRAID 写 数据 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reservéd. WY Page 19 HUAWEI 





D0 4730 


RAID 组 级 别 一 RAID10 


因为 不 需要 生成 校 验 位 信息 ， 因 此 RAID10 下 的 最 小 操作 单元 : 。 
IO 数据 块 的 大 小 aN 


由 于 每 个 镜像 盘 组 内 的 数据 完全 相同 ， 因此 RAID10 下 的 读 操 SS， 
作 从 这 其 中 的 N/2 块 磁盘 即 可 获取 数据 


全 


对 写 操作 ， 需 要 对 镜像 组 内 的 所 有 盘 都 写 该 数据 ， 分 别 写 到 镜 
像 组 内 的 两 块 磁盘 上 i 
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前 提 条 件 : 假设 有 N 块 磁盘 组 成 了 一 个 RAID10-A《N 为 偶数 ) ， 且 该 RAID10 的 镜像 盘 个 数 
为 2。 


0 4740 


RAID 组 级 别 一 RAID10 
。 写 操作 步 又 


下 发 数据 





RAID 处 理 模块 


RAID10 ; 
stripe 


1) 下 发 数据 块 3) 同时 写 从 成 员 盘 和 镜像 盘 
2) 生成 镜像 数据 





NS 
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DD 476 


RAID 组 级 别 一 顺序 读 性 能 对 比 


。RAID5: 除去 校 验 盘 以 后 ， 对 一 个 分 条 而 言 ， 有 (N-1) 块 
磁盘 可 以 同时 提供 数据 

。RAID10: 有 N 块 盘 可 以 同时 提供 数据 ， 但 由 于 镜像 组 内 的 数 
据 是 完全 相同 的 ， 因 此 对 同一 个 分 条 来 说 ， 其 实 上 只 有 N 闵 


块 盘 可 同时 提供 不 同 的 数据 ; 


。 由 于 同一 个 分 条 参与 读 操作 的 硬盘 RAID5 多 于 RAIDX0, 因此 
RAID5 读 性 能 高 。 
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RAID 组 级 别 一 顺序 性 能 对 比 


RAID5 与 RAID10 顺 序 性 能 对 比 
。 持续 顺序 读 性 能 。 持续 顺序 写 性 能 


人 GE 二 0 前 端 压力 足够 的 情况 下 ，RAID5 性 
EA 能 明显 高 于 RAID10 


顺序 读 带 宽 


7 
600 
# 500 
和 顺序 该 带宽 | 个 MW 
凌 300 
0 
RAID10 RAID5 
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。 ”持续 顺序 读 性 能 
o ”RAID5: 除去 核验 盘 以 后 ， 对 一 个 分 条 而 言 ， 有 (〈N-1) 块 磁盘 可 以 同时 提供 数据 ; 


o ”RAID10: 有 N 块 盘 可 以 同时 提供 数据 ， 但 由 于 镜像 组 内 的 数据 是 完全 相同 的 ， 因 此 
对 同一 个 分 条 来 说 ， 其 实 上 只 有 N/2 块 盘 可 同时 提供 不 同 的 数据 ; 


a。 由 于 同一 个 分 条 参与 读 操作 的 重 盘 RAID5 多 于 RAID10， 因 此 RAID5 读 性 能 略 高 
。 ”持续 顺序 写 性 能 

o。 ”RAID5: 除去 校 验 盘 以 后 ， 对 一 个 分 条 而 言 ， 有 (N-1) 块 磁盘 可 以 同时 接收 写 下 来 
的 数据 ; 同时 需要 计算 以 生成 该 分 条 新 的 校 验 信息 ; 

。 ”RAID10: 假设 锁 像 盘 的 个 数 为 2， 那 么 当 IO 下 发 的 时 候 ， 对 于 同一 个 镜像 组 内 的 磁 
盘 ， 实 际 上 是 写 一 份 数据 再 写 一 份 镜像 数据 ， 两 份 数据 完全 一 样 ， 即 只 有 N/2 块 磁盘 
在 接收 不 同 的 IO; 

= ”前端 压力 较 小 的 时 候 :; 由 于 RAID5 会 耗费 时 间 计算 校 验 信息 ， 因 此 RAID5 的 持续 顺序 
写 带宽 痊 小 幅 优 于 RAID10; 

o ”前 端庄 力 较 大 的 时 候 :; 此 时 后 端的 环 路 带宽 是 性 能 的 瓶颈 点 。 此 时 ，RAID5 的 写 带 
宽 会 优 于 RAID10 的 写 带宽 ， 且 RAID10 的 写 带宽 会 略 高 于 RAID5 的 写 带宽 值 的 一 半 。 


D0 477 0 


RAID 组 级 别 一 随机 性 能 对 比 


RAID5 与 RAID10 随 机 性 能 对 比 


。 持续 随机 读 性 能 。 ”持续 随机 写 性 能 
0 ”RAID5 与 RAID10 性 能 基本 相当 o RAID5 性 能 明显 低 于 RAID10 


持续 随机 读 IOPS 
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。 持续 随机 读 性 能 
o RAID5 和 RAID10 处 理 读 |O 请 求 的 最 小 操作 单元 都 是 IO 的 大 小 。 


o 随机 业务 的 IO 比 较 离散 ， 虽 然 RAID3 和 RAID10 方 式 能 同时 提供 数据 的 盘 数 不 同 ， 但 
性 能 上 并 不 会 有 太 大 的 差异 。 


o RAID10 的 随机 读 性 能 与 RAID5 的 随机 读 性 能 基本 相当 。 
。 持续 随机 写 性 能 


o 在 通常 的 情况 下 ， 随 机 写 时 的 ID 大 小 一 般 不 会 太 大 ， 该 大 小 一 般 是 小 于 分 条 单元 的 
大 小 的 。 


o_RAID5 算 法 中 的 飞 写 惩罚 ”会 导致 多 余 的 读 操作 ; RAID10 不 存在 这 个 问题 。 
o 结论 : RAID10 的 随机 写 性 能 会 明显 的 好 于 RAID5 的 随机 写 性 能 。 


DD 478 0 


RAID 组 级 别 一 顺序 写 性 能 对 比 


。 RAID5: 除去 校 验 盘 以 后 ， 对 一 个 分 条 而 言 ， 有 (N-1) 块 磁盘 可 以 同时 
接收 写 下 来 的 数据 ; 同时 需要 计算 以 生成 该 分 条 新 的 校 验 信息 ; 


。 RAID10: 假设 镜像 盘 的 个 数 为 2， 那 么 当 IO 下 发 的 时 候 ， 对 于 同一 个 镜像 
组 内 的 磁盘 ， 实 际 上 是 写 一 份 数据 再 写 一 份 镜像 数据 ， 两 份 数据 完全 -AS 
样 ， 即 只 有 N/2 块 磁盘 在 接收 不 同 的 IO ; 


。 前 端 压力 较 小 的 时 候 : 由 于 RAID5 会 耗费 时 间 计 算 校 验 信息 因 张 RAID5 
的 持续 顺序 写 带宽 会 小 幅 优 于 RAID10， 前 端 压力 较 大 的 时 候 污 此 时 后 端 
的 环 路 带宽 是 性 能 的 瓶颈 点 。 此 时 ，RAID5 的 写 带宽 会 傣 于 RAID10 的 写 带 
宽 ， 且 RAID10 的 写 带宽 会 略 高 于 RAID5 的 写 带宽 值 的 天 半 。 
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RAID 组 级 别 一 随机 性 能 对 比 


。 持续 随机 读 性 能 
o _RAID5 和 RAID10 处 理 读 IO 请 求 的 最 小 操作 单元 都 是 IO 的 大 小 。 


o 随机 业务 的 IO 比较 离散 ， 虽 然 RAID5 和 RAID10 方 式 能 同时 提供 数据 的 
盘 数 不 同 ， 但 性 能 上 并 不 会 有 太 大 的 差异 。 人 

o RAID10 的 随机 读 性 能 与 RAID5 的 随机 读 性 能 基本 相当 。 

。 持续 随机 写 性 能 

o 在 通常 的 情况 下 ， 随 机 写 时 的 IO 大 小 一 般 不 会 太 大 ， 该 大 水 三 般 是 小 
于 分 条 单元 的 大 小 的 。 

o _RAID5 算 法 中 的 “ 写 惩罚 ”会 导致 多 余 的 读 操作 ;_RAIDN0 不 存在 这 个 
问题 。 

o RAID10 的 随机 写 性 能 明显 的 好 于 RAID5 的 随机 写 性 能 。 
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RAID 组 级 别 一 RAID 选 择 


空间 利用 率 : 

RAID5 明 显 优 于 RAID10 
性 能 : 
业务 是 一 些 大 文 
件 的 读 写 操作 了 时 


RAID10 
可 靠 性 : 户 ” 业 务 以 随机 的 小 
RAID5 低 于 RAID10 数据 块 读 写 为 主 
的 时 候 ， 
RAIDTN9 是 最 优 
的 选择 


SN 
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存储 配置 对 性 能 的 影响 
。RAID 组 级 别 

成 员 盘 个 数 

分 条 深度 

读 写 策 略 

高 低 水 位 


LUN 归 属 
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随机 业务 与 成 员 盘 个 数 的 关系 


一 块 磁盘 只 能 承担 一 定数 目的 随机 IO 访问 量 ， 这 是 由 磁盘 的 平均 
旋转 延迟 和 寻 道 延迟 所 决定 的 。 

对 于 随机 读 写 业务 的 测试 ， 假 设 存储 设备 前 端 \O 的 压力 足够 ， 当 
增加 RAID 组 内 的 成 员 盘 个 数 的 时 候 ， 由 于 有 更 多 的 磁盘 来 分 的 


下 发 的 随机 读 写 请 求 ， 随 机 读 写 IOPS 性 能 数值 也 是 逐渐 增加 的 3 
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控制 器 内 存 CHUNK 介 绍 


CHUNK 是 一 种 数据 结构 。 在 控制 器 Cache 模 块 ， 系 统 会 将 满足 
一 定 规则 的 IO 装载 在 一 个 CHUNK 中 ， 每 次 将 按照 一 个 CHUNK 的 
大 小 为 单位 将 IO 数据 下 发 到 RAID 模 块 ， 并 最 终 刷 盘 。 
CHUNK 就 是 一 个 量 简 。 对 于 某 一 个 确定 的 量 简 ,其 最 大 的 容量 x 


是 确定 不 变 的 。 如 果 需 要 量 取 超 过 该 量 简 容 量 限制 的 液体 ,那儿 
就 肯定 需要 操作 多 次 ;而 每 次 也 可 以 量 取 不 超过 其 容量 限制 的 液 
体 。CHUNK 也 是 这 样 的 ，CHUNK 的 大 小 就 是 对 应 于 某 企 量 简 的 
最 大 量 取 容 量 ， 不 同 配置 下 的 CHUNK 大 小 可 能 不 同 ， 租 是 最 大 
不 超过 1MB。 
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控制 器 内 存 CHUNK 结 构 


1chunk<16chunkuni 


chunkunit 


外、 
。 CHUNK 的 容量 上 限 是 : 512Bx8x16x16=14MB 


Sector 


。 CHUNK-UNIT 的 大 小 是 : 512BX8X16 =64KB 
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控制 器 内 存 CHUNK 大 小 的 确定 


CHUNK 的 大 小 是 与 分 条 的 大 小 密切 相关 的 。 

分 条 的 大 小 = 分 条 深度 的 大 小 有效 盘 数 。 

若 分 条 的 大 小 大 于 1MB 时 ， 那 么 CHUNK 的 大 小 就 是 1MB。 

当 分 条 的 大 小 小 于 1MB 时 ，CHUNK 的 大 小 会 首先 按照 分 条 的 大 小 


齐 ， 然 后 再 按照 CHUNK-UNIT (64K) 的 大 小 对 齐 ， 最 终 得 到 EHUNK 
的 大 小 。 
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RAID5: 成 员 盘 个 数 与 持续 顺序 写 市 宽 \ 


。 顺序 写 带 宽 的 主要 影响 因素 : CHUNK 的 大 小 和 分 条 的 大 小 。 
。 举例 : 128KB 分 条 深度 (固定 不 变 ) 


RAID5: 顺序 写 带宽 4 


RAID5 持 续 顺 序 写 带宽 随 
RAID 组 成 员 盘 个 数 增加 的 
变化 趋势 图 


RAID 组 成 员 盘 数 
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CHUNK 大 小 越 大 ， 对 持续 顺序 写 操 作 来 说 , 访 味 者 每 次 下 发 的 数据 量 越 多 ， 此 时 只 
足 CHUNK 对 齐 分 条 的 原则 ， 则 CHUNK 大 小 越 夫 ， 写 性 能 就 越 好 。 


成 员 盘 个 数 增加 ，CHUNK 和 分 条 的 大 小 都 不 断 增 大 ， 但 始终 保持 两 者 相等 ， 直 至 成 员 盘 
个 数 为 9? 盘 时 ， 此 时 分 条 CHUNK 的 大 小 均 为 128KBx (9-1) =1MB。 


继续 增加 成 员 盘 个 数 到 11 盘 ， 此 时 分 条 的 大 小 为 128KBx (11-1) = 1280KB， 但 由 于 分 
条 的 大 小 已 超过 CHUNK 的 最 大 大 小 值 ， 则 此 时 CHUNK 大 小 为 1MB。 


在 这 种 情况 下 ， 对 于 持续 顺序 与 操作 ， 会 出 现 一 个 分 条 请 求 被 拆 分 为 两 个 CHUNK 来 完成 
的 情况 ， 因 此 此 时 的 写 性 能 出 现 了 较为 明显 的 下 降 。 
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RAID5: 成 员 盘 个 数 与 持续 顺序 读 带 宽 


。 持续 顺序 读 带宽 的 主要 影响 因素 : 分 条 的 大 小 和 预 取 算 法 的 不 同 所 
引起 的 预 取 值 不 同 。 
。 举例 : 128KB 分 条 深度 、 智 能 预 取 。 


RAID5 持 续 顺 序 读 带宽 随 RAID 组 成 员 盘 个 数 增加 的 变化 趋势 图 以 
RAID5 : 顺序 读 带 宽 


1400 - 
1200 + 


1000 


RAID 组 成 员 盘 数 
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RAID10: 成 员 盘 个 数 与 持续 顺序 读 写 业 务 


RAID10 并 没有 校 验 信息 ， 不 管 是 何 种 业务 ， 一 个 RAID10 下 的 镜 
像 组 之 间 可 以 完全 认为 是 独立 的 。 

因此 一 个 RAID10 下 更 多 的 磁盘 数目 实际 上 可 以 分 担 更 多 的 IO， 

即 可 提升 持续 顺序 读 写 带宽 的 性 能 。 Q 
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成 员 盘 个 数 





RAIDS RAID10 


顺序 应 用 下 ， 单 个 RAID10 在 单个 RAID 

RAID 组 磁盘 数 选择 组 磁盘 数 选择 上 ,并 

上 ,推荐 采用 : 无 限制 .在 磁盘 成 为 
分 条 深度 128KB 瓶颈 时 ,磁盘 数 越 多 
ni 该 RAID 组 性 能 起 好 
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0 4900 


存储 配置 对 性 能 的 影响 \ 


RAID 组 级 别 


高 低 水 位 


LUN 归 属 
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分 条 深度 一 随机 写 性 能 \ 


RAID5 和 RAID10 下 分 条 深度 变化 随机 瑟 性 能 规律 


RAID10 随 机 写 IOPS RAID5 随 机 写 IOPS 
5500 3000 下 


2500 [ess 
2000 

1500 和 和 和 fn _ 康 
1000 |) 

500 生 —— 宇 


0 下 
| 分 条 深度 32KB ”64KB 128KB 256KB 令 1 中 Bp 分 条 深度 








5000 
wn 




















t t 
64KB 128KB 256KB 512KB 

















RAID5 规 律 : 随 着 分 条 深度 的 增加 ， 随 机 写 IOPS 先 会 不 断 的 增加 ， 到 达 一 
定 程度 之 后 ， 随 机 写 IOPS 会 不 断 的 递减 ， 

RAID10 规 律 : 随 着 分 条 深度 的 增加 ， 随 机 瑟 IOPS 不 断 的 增长 ， 当 分 条 深度 
增 大 到 一 定 程度 后 ， 随 机 写 IOPS 保 持 一 个 较为 稳定 的 状态 ; 
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。 RAID5 随 机 写 性 能 与 分 条 深度 变化 规律 分 析 
o 分 条 深度 的 大 小 从 两 个 方面 影响 RAID5 下 的 随机 写 IOPS: IO 的 分 布 以 及 写 惩 罚 ; 
0 7 分 条 深度 主要 影响 IO 的 分 布 ， 这 时 出 现 一 个 IO 横 跨 两 个 或 多 个 
条 单元 的 几率 比较 大 ;为 也 写 一 个 IO， 需 要 操作 多 个 磁盘 ， 因 此 随机 写 IOPS 的 性 
， 随 着 分 条 深度 的 增加 ， 一 个 IO 落 到 单个 分 条 单元 中 的 几率 逐渐 的 增 大 ， 
因此 随机 写 IOPS 值 也 就 随 之 得 到 了 提升 ; 
o 随 着 分 条 深度 的 进一步 增加 ， 一 个 IO 出 现 横 跨 分 条 的 几率 更 加 小 了 ; 此 时 ， 写 惩罚 
成 了 影响 性 能 的 关键 因素 ， 因 此 此 时 随 分 条 深度 的 增加 ， 随 机 IOPS 的 性 能 反而 下 降 
J 
。 RAID10 随 机 写 性 能 与 分 条 深度 变化 规律 分 析 
o 分 条 深度 的 大 小 从 IO 的 分 布 影响 RAID10 下 的 随机 写 IOPS; 
o 随 分 条 深度 的 增 大 ， 一 个 ID 跨 盘 的 几率 逐渐 的 减 小 ， 因 此 随机 写 IOPS 呈 现 逐 渐 上 升 
的 趋势 ; 
0 “` 当 分 条 深度 增加 到 一 定 程 度 之 后 ， 再 继续 增加 分 条 深度 的 大 小 并 不 能 有 效 的 增加 一 
个 IO 落 入 同一 个 分 条 单元 的 几率 ， 因 此 随机 写 IOPS 的 增长 趋势 逐渐 变 缓 ; 
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分 条 深度 一 随机 读 性 能 


分 条 深度 对 随机 读 性 能 影响 





当 分 条 深度 的 大 小 能 够 超 证 
过 数据 块 的 大 小 达到 
程度 时 ， 由 于 再 出 现 | 
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存储 配置 对 性 能 的 影响 


RAID 组 级 别 


LUN 归 属 
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。 读 预 取 的 作用 


5 在 处 理 一 个 读 IO 请 求 时 ， 从 磁盘 侧 按 顺 序 读 取 除 该 IO 数据 以 外 更 多 的 
数据 ， 预 先 缓存 到 Cache 中 ， 以 便 下 一 个 顺序 读 IO 请 求 到 达 时 ， 可 直 
接 在 Cache 中 获取 ， 得 到 更 高 的 性 能 表现 。 


5 当 读 IO 很 随机 时 ， 不 当 的 读 预 取 策 略 会 给 存储 系统 带 来 额外 的 资产 开 


销 ， 不 但 无 法 保证 后 续 IO 在 Cache 中 的 命中 ， 而 且 会 带 来 性 能 的 降 
低 。 


。 四 种 预 取 算法 : 
o 固定 预 取 、 可 变 预 取 、 智 能 预 取 和 不 预 取 。 
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读 策略 


预 取 策略 | 策略 说 明 适用 场景 

固定 预 取 | 按 系 统 设置 的 固定 预 取 窗 口 大 小 | 1. 适用 于 业务 单一 ，IO 顺 序 性 强 的 场 
进行 预 取 景 ， 如 : DSS 和 数据 备份 等 业务 

2. 建议 预 取 窗 口 大 小 与 LUN 分 条 对 党 

可 变 预 取 | 按 系统 设置 的 倍数 ， 预 取 : 读 IO | 适用 于 IO 顺序 性 强 ， 但 IO 大 小 呈 般 和 
| 长度 * 信 数 性 变化 的 业务 天 
按 IO 顺序 程度 ， 动 态 起 停 预 取 ， | 适用 于 IO 特性 比较 复杂 的 场 电光 而: 
动态 调整 预 取 窗口 大 小 OLTP 应 用 中 数据 文件 访问 


减少 因 预 取 无 效 数据 引起 系统 额 | 适用 于 可 明确 的 IO 随 杖 场景 
外 开销 
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。 固定 预 取 : 当 某 个 IO 不 命中 的 时 候 ， 需 要 下 到 磁盘 取 数 据 ， 并 顺便 取 与 该 ID 地 址 连续 的 一 
定量 的 IO 上 来 ， 该 数量 是 事先 设 定 的 , 其 取 值 范围 是 0 到 1024KB， 当 选择 的 预 取 数值 为 0 
时 实际 上 就 是 不 预 取 ; 


。 可 变 预 取 : 可 变 预 取 的 预 取 值 可 以 在 0 到 68535 中 进行 选择 ; 当选 择 为 0 的 时 候 ， 其 实 就 是 不 


预 取 ; 
。 智能 预 取 :智能 预 取 算 法 可 动态 分 析 当 前 业务 IO 顺序 性 情况 和 IO 〇 大 小 规律 ， 判 定 是 否 起 停 
预 取 和 预 取 窗 口 大 小 ; 
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An 

与 策略 \ 

Cache 的 写 策略 包括 三 种 : 透 写 ， 回 写 镜像 和 回 写 不 镜像 。 
镜像 Cache 示 意图 
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。 透 写 与 回 写 
0 透 写 : 每 一 个 写 IO 请 求 都 直接 下 到 磁盘 ， 整 体 性 能 的 表现 受 限 于 磁盘 本 身 所 能 提供 
的 性 能 ， 主 要 取决 于 磁盘 的 转速 ， 寻 道 时 间 等 关键 的 参数 。 


0 回 写 : 每 一 个 写 IO 到 达 Cache 就 代表 写 入 成 功 ;， 然 后 通过 Cache 层 面 对 数 据 进 行 
充分 的 整合 与 调度 ， 再 统一 王 发 到 磁盘 。 由 于 写 入 Cache 的 速度 会 快 很 多 ， 因 此 可 
以 得 到 比 透 写 时 更 好 的 性 能 表现 。 


。 镜像 与 不 镜像 


o 镜像 与 不 镜像 的 差别 在 于 : 当 一 个 写 IO 〇 从 A 控制 器 下 发 ， 当 到 达 A 控 制 器 的 Cache 
之 后 ， 是 否 需要 将 该 IO 再 写 入 到 B 控 制 器 的 Cache 作 备份 ; 


o 如 果 采 用 条 回 写 镜像 的 方式 ， 由 于 进行 了 额外 的 两 个 控制 器 之 间 的 交互 以 及 数据 的 
传输 ， 因 此 总 体 的 性 能 表现 不 会 比 回 写 不 镜像 的 方式 好 。 
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与 策略 


。 需 仔细 评估 实际 业务 对 性 能 和 可 靠 性 的 需求 ， 选 择 恰当 的 写 策略 : 
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对 于 随机 的 写 业 务 来 说 : 由 于 业务 且 流 量 较 外 4 性 能 的 瓶颈 主要 在 系统 资源 的 分 配 、 后 
端 磁盘 的 个 数 、 磁 盘 的 转速 等 因素 上 ， 镜 像 并 不 是 写 性 能 的 关键 的 因素 。 不 管 是 否 采 用 了 镜 
像 的 方式 ， 随 机 写 性 能 几乎 没有 区 别 。 如 果 出 现 镜像 时 的 随机 写 性 能 略微 优 于 不 镜像 时 的 随 
机 写 性 能 也 是 正常 的 现象 。 
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存储 配置 对 性 能 的 影响 


RAID 组 级 别 


LUN 归 属 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





0 499 0 


高 低 水 位 


设置 存储 写 策略 为 回 写 时 ， 高 低 水 位 控制 Cache 模 块 对 脏 数 据 的 存 
储 容量 和 刷 盘 速率 。 


与 CACHE 


刷 盘 线程 持续 刷 盘 ， SE 


高 水 位 线 
刷 盘 速率 -中 立刻 刷 一 个 chunk 的 数据 
一 低 水 位 线 


刷 盘 速率 - 低 一 般 不 刷 盘 ， 如 果 5s 之 内 都 没有 I/O 到 达 ， 则 
刷 一 个 chunk 的 数据 
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。 将 脏 数据 缓存 在 Cache 中 可 使 /得 到 充分 整合 与 调度 ， 降 低 延 迟 ， 提 升 性 能 ; 但 当 写 

Caoche 中 缓存 的 ID 脏 数 据 的 总 量 达到 忆 定 下限 时， 就 需要 加 快 数据 刷 盘 的 速度 ， 吕 免 由 

于 写 Cache 缓 存 了 过 多 脏 数据 不 能 接收 前 端 下 发 的 新 的 写 IO 请 求 ; 

默认 情况 下 ， 系 统 设置 的 低 水 位 值 为 20 在 运行 实际 的 业务 ， 特 别 是 随机 写 业 务 的 时 候 ， 

可 适当 的 提升 低 水 位 值 ， 如 设置 为 40 或 者 50; 

。 高 水 位 需 根 据 实际 业务 的 下 发 情况 进行 调整 ， 重 点 关注 调整 后 的 性 能 变化 状况 和 Cache 命 
中 率 状 况 ， 针 对 随机 写 业 务 建 议 设 置 在 80 左 右 ; 

。 刷 盘 线程 每 隔 15 启 动 一 次 


高 低 水 位 特性 \ 


Cache 中 缓存 的 数据 与 低 水 位 值 所 对 应 的 容量 持平 或 者 低 于 该 容 
量 的 时 候 ， 这 些 数据 被 刷 盘 的 几率 相对 是 较 小 的 ， 即 这 些 数据 保 
存在 Cache 中 的 几率 相对 较 大 。 

IO 停留 在 Cache 中 的 时 间 与 低 水 位 值 的 设置 密切 相关 。 当 将 低 水 人 


位 值 设 置 得 高 一 些 ， 就 可 以 使 得 下 发 的 IO 获得 更 多 的 整合 的 机 

会 ， 从 而 提升 随机 写 的 性 能 。 

默认 情况 下 ， 系 统 设置 的 低 水 位 值 为 20， 在 运行 实际 的 业务 ， 特 
别 是 多 路 顺序 小 OQ 和 SPC-1 模 型 的 OTLP 业 务 时 ， 可 适当 的 提升 
低 水 位 值 ， 如 设置 为 40 或 者 50。 
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存储 配置 对 性 能 的 影响 


RAID 组 级 别 


LUN 归 属 
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LUN 归 属 一 确保 本 端 LUN 访 问 \ 





主机 访问 LUN1， 直 接 通 过 控 
制 器 A 下 发 访问 请 求 ，; 














主机 访问 LUN2， 需 要 先 通过 
控制 器 入， 然后 通过 控制 器 A 
和 控制 器 B 之 间 的 BS 通道 、( 然 
后 再 通过 控制 器 B,、 下 发 访问 


请 求 。 
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对 LUNI1 的 访问 即 是 本 端 访 问 的 方式 。 
对 LUN2 的 访问 即 是 对 端 访 问 的 方式 。 


对 端 访问 的 方式 必然 要 通过 板 间 的 IB3 通 道 ， 因 此 必然 受到 IBS 通 道 的 限制 ， 所 以 会 出 现 其 
读 写 的 性 能 受到 影响 的 情况 。 因 此 2 我 们 在 归属 LUN 的 时 候 ， 需 要 注意 将 该 LUN 归 属 给 将 
访问 其 的 主机 所 连接 的 控制 器 上 。 


DD 2503 


性 能 诊断 和 调 优 


4.1 性 能 监控 


p> J 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 


Wb Huawel 





顺序 业务 随机 业务 


o ”util% 应 接近 100% 
o ”rkb/s、wkb/s 应 达到 通道 理论 带宽 


o ”avgrq-sz 应 等 于 上 层 业 务 的 Block 大 小 


o r/s、w/s 应 等 于 理论 计算 所 得 到 的 IOPS 
值 


o avgqu-sz 应 迭 到 适当 的 值 


oO await 应 小 于 30ms。 
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rrqm/s: 平均 每 秒 钟 读 |O 合 并 的 次 数 
Wwrqm/s: 平均 每 秒 钟 写 IO 合 并 的 次 数 
r/S$: 平均 每 秒 钟 读 |O 操 作 次 数 

W/s: 平均 每 秒 钟 写 IO 操作 次 数 

rkB/s: 平均 每 秒 钟 的 读 带 宽 

WKB/S: 平均 每 秒 钟 的 写 带 宽 

qdvgrqd-5z: 平均 IO 大 汶 

qvgqu-sz; 平均 | 队列 长 度 

qwait: 平均 每 次 I/O 操作 的 总 等 待 时 间 
svctm: 平均 每 次 |/O 操 作 的 存储 访问 时 间 
2uiil: 统计 间隔 中 有 多 少时 间 I/O 〇 队列 是 非 


空 的 
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top 详 细 用 法 


第 一 行 中 load qverage 显 示 了 过 去 的 1、5、15 分 钟 内 运行 队列 中 的 平均 进程 数 
量 

第 二 行 显示 各 种 状态 的 进程 的 数目 

第 三 行 显示 的 是 目前 CPU 的 使 用 情况 。 

第 四 行 显示 物理 内 存 的 使 用 情况 ， 

第 五 行 显示 交换 分 区 使 用 情况 。 


PID USER PR NI VIRT RES SHR S *CPU *HEN TINE+ CONMNMAND 
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第 一 行 中 load avyerage 显 示 了 过 去 的 1、5s% 15 分 钟 内 运行 队列 中 的 平均 进程 
数量 

第 二 行 显示 各 种 状态 的 进程 的 数目 

第 三 行 显示 的 是 目前 CPU 的 使 用 情况 ， 包 括 us 用 户 空 间 占 用 CPU 百分比 、Sy 内 
核 空间 占用 CPU 百分比 、ni 用 户 进程 空间 内 改变 过 优先 级 的 进程 占用 CPU 百 分 
比 (中 断 处 理 占用 ) 、igq 空 闲 CPU 百分比 、Wa 等 待 输入 输出 的 CPU 时 间 百 分 比 。 
第 四 行 显 示 物 理 内 存 的 使 用 情况 ， 包 括 总 的 可 以 使 用 的 内 存 、 已 用 内 存 、 空 闲 
内 存 、 缓 冲 区 占用 的 内 存 。 

第 五 行 显示 交换 分 区 使 用 情况 ， 包 括 总 的 交换 分 区 、 使 用 的 、 空 闲 的 和 用 于 高 
速 缓存 的 大 水 。 

















AIX 弟 用 性 能 监控 命令 


e 通过 iostat -d <disk> [interval] [count] 来 监控 设备 驱动 层 disk 的 性 能 状 
况 ，interval 是 采样 的 间隔 时 间 ，count 是 采样 数目 


-bash-3.00# iostat -d hdisk0 1 5 
System confiquration: lcpu=4 drives=2 paths=l1 vdisks=0 


Kpps Kb read Kb Wrtn 
23168. 792. 23168 
24474. 6118. 24964 
23196 ?799., 23196 
24512. 5 . 24512 
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%tm_act: 表示 磁盘 利用 率 ， 表 明了 磁盘 的 繁忙 程度 。 

Kbps: 表示 磁盘 的 数据 传输 速率 。 

tps: 表示 磁盘 的 IOPS。 

Kb_read: 表示 在 间隔 时 间 中 从 磁盘 读 取 的 数据 量 ， 单 位 是 KB。 
Kb_wrtn: 表示 在 间隔 时 间 中 写 入 磁盘 的 数据 量 ， 单 位 是 KB。 


虽然 该 命令 没有 列 出 平均 I 大 小 ， 但 是 可 以 通过 后 面 的 公式 计算 得 到 ， 平 均 IO 大 小 
=Kbps/tps。 
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Sar 命 令 


。 通过 sar -d [intervall [count] 来 监控 所 有 设备 驱动 层 disk 的 性 能 状 
况 ，interval 是 采样 的 间隔 时 间 ，count 是 采样 数目 。 


hdisk0 
cd0 
updisk0 
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%busy: 表示 磁盘 利用 率 ， 表 明了 磁盘 的 繁忙 程度 。 
qvque: 表示 主机 块 设备 层 IO 队 列 深度 。 

r+W/s: 表示 磁盘 的 IOPS。 

Kbs/s: 表示 磁盘 的 数据 传输 速率 3 

qvwoqit: 表示 主机 块 设备 层 的 平均 | 〇 等 待 时 间 。 
qvserv: 表示 主机 块 设 备 层 的 平均 | 服务 时 间 。 
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内 存 性 能 监控 


。 可 以 通过 svmon -G 命 令 来 查看 物理 内 存 和 分 页 空间 的 信息 ， 还 可 
以 详细 查看 物理 内 存 中 的 work 型 、persisitent 型 和 client 型 内 存 的 信 
息 ， 如 图 所 示 。 

pin virtual 


102677 166576 
pg space 


pin 
in use 66576 0 109772 
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图 中 所 有 数值 的 单位 都 是 4KB ， 表 示 有 多 少 个 4 页 。 其 中 ，Size 表 示 总 大 小 ，in 
USe 表 示 正 在 使 用 中 的 大 小 ，pin 表 示 正 在 使 用 且 被 锁定 的 大 小 ，free 表 示 空 闲 空间 的 


大 小 。 
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逻辑 卷 性 能 监控 


。 可 以 通过 filemon -uo <output_file> -O lv 命令 来 监控 逻辑 卷 的 性 能 ， 
使 用 trcstop 命 令 来 终止 flemon ， 结 果 保 存在 output_file 中 。 通 过 该 
命令 可 以 了 解 使 用 率 靠 前 的 几 个 逻辑 卷 的 性 能 状况 ，output_file 中 
会 按照 使 用 率 从 高 到 低 对 逻辑 卷 进行 排序 ， 如 图 所 示 。 


Most Active Logical Yolunmes 
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UHl: 表示 逻辑 卷 使 用 率 。 

#rblk: 表示 在 间隔 时 间 中 从 逻辑 卷 读 取 的 block 数 ， 一 个 block 的 大 小 为 512B。 
#wblk: 表示 在 间隔 时 间 中 写 入 逻辑 卷 的 block 数 。 

KB/S: 表示 逻辑 卷 的 传输 速率 。 

volume: 表示 逻辑 卷 的 名 称 或 者 设备 号 。 

description: 表示 逻辑 卷 对 应 的 交 件 系统 安装 点 或 者 逻辑 卷 类 型 。 
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文件 系统 性 能 监控 


。 可 以 通过 filemon -uo <output_file> -O If 来 监控 文件 系统 的 性 能 ， 使 
用 trcstop 命 令 来 终止 flemon ， 结 果 保 存在 output_file 中 。 通 过 该 命 
令 可 以 了 解 使 用 率 靠 前 的 几 个 文件 的 性 能 状况 ，output_file 中 会 按 
人 共 行 排序 。 


volume: inode 


/dev/lVv00:36 
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#MBs: 表示 文件 在 间隔 时 间 中 的 数据 传输 量 说 单位 是 MB。 

#opns: 表示 文件 在 间隔 时 间 中 的 打开 次 数 。 

#rds: 表示 间隔 时 间 中 从 该 文件 读 取 的 | 个 数 。 

#Wwrs: 表示 间隔 时 间 中 向 该 文件 写 入 的 IO 个 数 。 

file: 表示 文件 名 称 。 

volume:inode: 其 中 ，volume 表 示 该 文件 对 应 逻辑 卷 的 名 称 或 者 设备 号 ，inode 表 
示 该 文件 对 应 文件 系统 的 | 节点 [总 数 。 
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HP-UX 性 能 监控 


。 适 配 层 性 能 监控 


o 适 配 层 主要 是 监控 FC HBA 卡 的 性 能 ， 可 以 通过 scsimgr 命 令 来 查看 其 状态 。 需 
要 特别 关注 的 是 Outstanding MOs， 表 示 了 当前 FC HBA 卡 的 IO 并 发 数 。 


bash-4.1# scsimgr yet stat -D /d cd0 


STICS FOR CONTROLLER : /de 
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HP-UX 性 能 监控 


。 适 配 层 性 能 监控 


o 通过 Sar 命 令 来 查看 当前 所 有 处 于 活动 状态 的 HBA 卡 的 性 能 。 


bash-4.1# sar -H15 


ctlr util t-put r/s 
sage MWB/s num 
be 
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ctr: 表示 HBA 卡 的 逻辑 名 

uUfil: 表示 HBA 卡 的 繁忙 程度 ， 单 位 是 百分比 

t-put: 表示 HBA 卡 的 数据 传输 率 ， 单 位 是 MBVs 
IO/s: 表示 HBA 卡 的 IOPS 

r/$: 表示 HBA 卡 的 读 IOPS 

wW/S: 表示 HBA 卡 的 写 IOPS 

read: 表示 HBA 卡 的 读数 据 传输 率 ,单位 是 MB/sS 
write: 表示 HBA 卡 的 写 数据 传输 率 ” 单 位 是 MB/s。 
qQvque: 表示 HBA 卡 的 当前 IO 队 列 深度 

qvwaqit: 表示 HBA 人 卡 的 平均 IO 等 待 时 间 ， 单 位 是 ms 
aysery: 表示 HBA 卡 的 平均 IO 服 务 时 间 ， 单 位 是 ms 
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HP-UX 性 能 监控 


。 DSF 性 能 监控 


o 通过 iostat [interval] [couni1] 来 监控 DSF 性 能 状况 ，interval 是 采样 的 
间隔 时 间 ，count 是 采样 数目 。 
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。 bps: 表示 磁盘 的 数据 传输 速率 ， 单 位 是 KB/ss 

。 Sps: 表示 磁盘 的 |OPS。 

。 msps: 表示 |O 的 平均 响应 时 间 ， 单 位 是 ms% 

。 虽然 该 命令 没有 列 出 平均 IO 大 小 ,f 但 是 可 以 通过 公式 计算 得 到 ， 平 均 IO 大 小 =bps/sps。 
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HP-UX 性 能 监控 


。 DSF 性 能 监控 


o 通过 sar -d [interval] [count] 来 监控 DSF 性 能 状况 ，interval 是 采样 的 
间隔 时 间 ，Ccount 是 采样 数目 。 


bash-4.1# sar -R -d 1 5 


B.11.31 U ia64 


0.00 
0.00 
0.00 
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%busy: 表示 磁盘 利用 率 ， 表 明了 磁盘 的 繁 : 

qvque: 表示 主机 块 设备 层 IO 队 列 深 度 。 

1/s: 表示 磁盘 每 秒 的 读 |O 〇 个 数 。 

W/S: 表示 磁盘 每 秒 的 写 IO 个 数 。 

blks/s: 表示 磁盘 的 传输 速率 $- 单 位 是 212Dyfes/s。 
Qqywalif: 表示 主机 块 设备 层 的 平均 1O 等 待 时 间 ， 单 位 是 ms。 
qvserv: 表示 主机 抉 设备 层 的 平均 IO 服 务 时 间 ， 单 位 是 ms。 











515 

















D0 5160 


性 能 诊断 和 调 优 
4.1 性 能 监控 


4.2 系统 配置 调 优 
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本 和 置 调 优 忆 
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应 用 模块 性 能 分 析 


业务 系统 上 承载 的 应 用 多 种 多 样 ， 按 用 户 下 发 请 求 后 ， 其 主要 表现 
的 IO 特性 和 性 能 需求 ， 可 划分 为 四 大 类 : 


小 数据 块 ， 通 常 2-8KB 
OLTP 访问 位 置 非常 随机 高 IOP3， 低 延迟 “4 


大 数据 块 ， 通 常 64-512KB | = 
大 数据 块 ， 通 常 32K-1MB 、 
) 小 数据 块 ， 通 常 <64K 中 
sien 随机 访问 ，>80% 读 高 IOPS 


DY 
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数据 容器 性 能 调 优 一 数据 库 N 


让 尽量 多 的 存储 资源 分 担 热点 区 域 ; 合理 选取 Big/Smoall 


采用 80% 左 右 的 主机 内 存 作为 数据 库 的 CACHE 使 用 
uP eeke, OP  ，， 广 


| 索引。 | 删除 不 必要 索引 ， 合 理 选择 B 树 或 位 图 
| 分 区 | 大 于 1 亿 条 记录 时 分 区 ， 合 理 使 用 RANGESRRHASH 
刷 盘 进 程 数 


日 志文 件 ”| 大 小 适中 ， 建 议 32-128MB， 每 实例 5 个 


数据 块 
| SASMWIVMUUN 风 对齐， 巡 517K、INE 说 “ 
索引 
分 区 





SN 
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数据 容器 性 能 调 优 -文件 系统 、 
文件 系统 容器 ， 主 要 负责 处 理由 上 层 模 块 下 发 的 针对 文件 或 目录 的 操作 。 


1. 选择 恰当 的 文件 系统 
文件 系统 分 为 日 志文 件 系 统 和 非 日 志文 件 系统 两 类 . 


database server，Moail server， 小 规模 Ext+3,， Reiserfs | 
Ca ded AAS 
大 文件 ， 多 路 顺序 读 
大 文件 ， 多 路 顺序 写 视频 监控 系统 


>8 XFS 


™ 
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。 为 了 数据 可 靠 性 ， 用 户 一 般 会 选择 日 志文 件 系 统 进行 应 用 业务 的 搭建 。 


。 各 类 文件 系统 针对 某 些 特定 应 用 进行 了 专门 的 性 能 优化 设计 ， 并 对 主机 硬件 资源 有 
不 同 的 要 求 ， 需 根据 实际 应 用 选择 恰当 的 文件 系统 ， 图 表 以 Linux 下 的 文件 系统 为 


例 。 
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数据 容器 性 能 调 优 -文件 系统 


2 . 文件 系统 参数 调整 

Block size 调整 : 同 数 据 应 用 类 似 ， 在 OS 容许 的 情况 下 ， 建 议 针 对 OLTP 应 用 采用 4-8K 的 块 大 
小 ， 针 对 OLAP 及 Multimedia 应 用 采用 32-64K 的 块 大 小 

文件 碎片 整理 : 文件 系统 在 长 时 间 频 繁 使 用 后 会 出 现 老化 现象 ， 导 致 文件 碎片 和 空间 碎片 增加 ， 
数据 访问 时 会 产生 额外 的 IO 开销 ， 同 时 访问 数据 也 变 得 更 加 离散 .因此 建议 根据 实际 情况 ， 奉 


件 系 统 使 用 容量 达到 60% 时 进行 碎片 整理 . 最 佳 的 碎片 整理 方式 是 将 所 有 文件 拷贝 到 另 一 个 相同 
文件 系统 上 ， 使 元 数据 与 文件 数据 重新 布局 . 


元 数据 优化 : 元 数据 优化 包含 三 个 步骤 : 元 数据 与 实际 数据 分 离 、 选 择 恰当 的 日 志 模 于 
必要 的 日 志 操 作 


日 志 调 优 测 试 


六 10% 各 过 5 六 105 如 0 





日 志 区 域 分 离 性 能 对 比 不 同日 志 模式 性 能 对 比 NE 
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数据 容器 性 能 调 优 -文件 系统 


2 . 文件 系统 参数 调整 

Block yize 调 整 : 同 数据 应 用 类 似 ， 在 OS 容许 的 情况 下 ， 建 议 针 对 OLTP 
应 用 采用 4-8K 的 块 大 小 ， 针 对 OLAP 及 Multimedia 应 用 采用 32-64K 的 块 
大 小 

文件 碎片 整理 : 文件 系统 在 长 时 间 频 繁 使 用 后 会 出 现 老化 现象 ， 导致 文 往 
碎片 和 空间 碎片 增加 ， 数 据 访问 时 会 产生 额外 的 IO 开销 ， 同 时 访问 数据 也 
变 得 更 加 离散 . 因此 建议 根据 实际 情况 ， 在 文件 系统 使 用 容量 达到 460% 时 
进行 碎片 整理 . 最 佳 的 碎片 整理 方式 是 将 所 有 文件 拷贝 到 另 一 企 相 同文 件 
系统 上 ， 使 元 数据 与 文件 数据 重新 布局 . 

元 数据 优化 : 元 数据 优化 包含 三 个 步骤 : 元 数据 与 实际 数据 分 离 、 选 择 恰 
当 的 日 志 模式 、 关 闭 不 必要 的 日 志 操作 
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操作 系统 性 能 调 优 一 内 核资 源 
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操作 系统 性 能 调 优 一 卷 管理 模块 \ 
。 在 创建 LVM 卷 时 保证 所 有 LUN: 

o 分 条 一 至 

= 容量 相等 

= 磁盘 数 相等 

o RAID 级 别 一 样 ， 并 归属 不 同 的 存储 控制 器 ， 

o 分 条 大 小 等 于 LVM 分 条 单元 大 小 ， 做 到 负载 均衡 。 
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用 户 下 发 的 请 求 从 数据 容器 到 达 卷 管理 与 块 设备 模块 时 ， 已 被 拆 分 为 多 个 实际 的 读 写 ID 请 
求 . 这 些 I 〇 请 求 有 的 负责 索引 节点 的 查找 所 有 的 负责 实际 数据 的 访问 ， 还 有 的 则 负责 日 志文 
件 的 记录 。 

卷 管理 模块 能 对 存储 映射 的 多 个 LUN 进 行 条 带 化 操作 ， 确 保 业 务 负载 均匀 的 分 担 到 不 同 的 
LUN 上 ， 同 时 还 可 设 定 相应 的 RAID 级 别 》 保证 数据 可 靠 性 。 


DD 524 0 


操作 系统 性 能 调 优 一 块 设备 模块 


块 设备 模块 是 操作 系统 中 最 核心 的 IO 处 理 模 块 ， 它 提供 了 丰富 的 性 

能 调 优 参数 方便 用 户 根据 实际 性 能 需求 进行 调 优 。 

o。 IO 对 齐 
a IO 大 小 对 齐 2000 os 
。 起 始 位 置 对齐 ia 

a 预 取 窗口 调整 

o IO 调度 策略 调整 





对 齐 与 非 对 齐 的 性 能 对 比 











not gfiorn 


OLTP 应 用 中 进行 IO 对 序 后 的 性 能 对 比 
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块 设备 模块 是 操作 系统 中 最 核心 的 IO 处 理 模 块 扎 提 供 了 丰富 的 性 能 调 优 参 数 方便 用 户 根 
据 实际 性 能 需求 进行 调 优 。 块 设备 模块 调 优 主 要 包括 : IO 对 齐 、 预 取 窗 口 调整 、I 〇 调度 策 
略 调整 。 

@ IO 对 齐 : 
o IO 大 小 对 齐 : 块 设备 层 可 对 系统 入 发 到 存储 的 基本 IO 大 小 和 最 大 IO 大 小 进行 调整 . 为 
避免 造成 业务 系统 中 额外 的 I 昌 拆 分 ， 建 议 基本 IO 大 小 与 数据 容器 设置 的 基本 块 大 小 对 
齐 . 最 大 IO 大 小 与 存储 及 HBA 卡 可 处 理 的 最 大 IO 大 小 对 齐 。 


o 起 始 位 置 对 齐 : OS 层面 ， 建 议 为 LUN 设 置 一 个 分 条 大 小 的 偏 移 。 
。 预 取 窗口 调整 
o 操作 系统 会 根据 平 发 读 IO 的 顺序 程度 ， 动 态 的 启 停 读 预 取 操 作 ， 其 中 茶 些 操作 系统 的 
最 大 预 取 窗 口 大 小 是 可 设置 的 。 
o 建议 将 预 取 窗口 大 小 与 块 设备 层 的 最 大 IO 大 小 对 齐 ， 保 证 在 DLAP 业 务 下 的 读 操作 命中 
率 得 到 较 大 提升 ， 同 时 不 会 因为 预 取 I 〇 大 小 超过 系统 设置 的 最 大 ID 大 小 而 导致 额外 的 
ID 拆 分 。 
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Linux 操 作 系统 提供 了 多 种 IO 调 度 策略 供用 户 选择 ， 以 优化 系统 的 IO 性 能 。 请 参考 上 表 选 





Linux 操 作 系 统 10 调 度 策略 


除了 对 相 邻 IO 进行 整合 外 ， 
\ 半 二 > 采用 SSD 硬 盘 的 OLTP、 
noop ”| noop 不 进行 任何 调度 ， 以 保 i 
Ea 齐 OMT ral poem 


, ”、 | 会 对 IO 进行 排序 和 整合 ， 在 IO 


会 对 IO 〇 进行 排序 和 整合 ， 特 别 | 适用 与 1O 处 理 过 程 申 不 被 中 
针对 读 |O 会 空闲 一 段 时 间 已 保 | 断 的 应 用 ,不 适用 于 OLTP 类 
证 整合 及 读 命中 应 用 


As 
会 对 IO 进行 排序 和 整合 ， 保 证 | 、 Wai 
各 个 进程 绝对 公平 的 分 享 存储 | 人 应 让 次 人 和 区 人 

资源 < 
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择 在 实际 应 用 中 适合 的 调度 策略 。 
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操作 系统 性 能 调 优 一 多 路 径 及 HBA 卡 模块 


。 HBA 卡 模块 
。 HBA 卡 模块 负责 IO 向 存储 的 下 发 ， 需 要 重点 关注 如 下 四 个 指标 : 


1 .用 于 描述 HBA 卡 在 一 个 时 间 片 能 传输 | 1 .单口 最 大 并 发 为 256 
最 大 并 发 数 的 最 大 IO 数 2. 可 通过 Execution 


2 . 该 参数 可 调 ， 建 议 调整 为 最 大 ， 避 免 | Throttle 参 数 调整 
IO 在 HBA 卡 模块 出 现 阻塞 


HBA 卡 在 不 拆 分 IO 的 情况 下 ， 最 大 可 发 送 “| 1. 通 常 为 1 MB 
最 大 IO 大 小 的 IO 大 小 2. 可 通过 FrGme 这 e 参 数 
调整 A( _ 失 
1 . 描述 HBA 卡 单口 最 大 的 带宽 输出 8G FC HB 本 单口 单 向 带 
最 大 带宽 输出 2 ， 需 要 根据 实际 应 用 的 存储 带宽 需求 ， 宽 为 800MB 左 右 
动态 添加 HBA 卡 和 网 络 连接 端口 数 
1 . 描述 HBA 卡 单口 最 大 的 IOPS 输 出 8GFC HBA 卡 单口 OPS 输 
最 大 |IOPS 输 出 | 2 . 需要 根据 实际 应 用 的 存储 IOPS 需 求 ， 人 出 六 50 万 
动态 添加 HBA 卡 和 网 络 连接 端口 数 
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操作 系统 性 能 调 优 一 多 路 径 及 HBA 卡 模块 


。 多 路 径 模 块 
o 多 路 径 模 块 用 来 控制 对 存储 设备 的 访问 ， 实 现 服务 器 到 存储 设备 之 间 的 路 径 
选择 ， 提 高 主机 与 存储 设备 之 间 的 路 径 可 靠 性 与 性 能 。 
o 一 般 包 含 如 下 策略 : 


静态 负载 均衡 ， 轮 流 在 最 优 7 
ROUND_ROBIN ”| 路 径 上 下 发 VO ， 以 减 小 单条 | 适用 于 MO 负载 较 汶 的 应 用 

路 径 的 MO 负 茶 Nw 

动态 负载 均 ， 优 先 选择 下 发 | 适用 于 1/O 贷 载 较 天 且 对 1/O 
最 小 队列 深度 。 | 1/O 过 程 中 未 完成 //O 数 量 最 “| 延迟 有 较 高 需求 的 应 用 ， 如 


少 的 路 径 下 发 VO OLTP 应 用 SS 
_ 人 适用 手 K@ 负 载 较 大 且 对 传输 
本 动态 负载 均 ， 优 先 选择 数据 “| 盖 
最 小 数据 量 人 六 带宽 有 较 高 需求 的 应 用 ， 如 
| 重 最 小 的 路 径 下 发 /O OLAP 及 Mulimedia 应 用 
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存储 系统 性 能 调 优 概述 ， 


CACHE 策 略 选择 


Cache 策 略 


1 . 顺序 业务 推荐 开启 预 取 ， 预 取 窗 口 根据 实际 情况 调整 
读 策略 2 . 明确 的 纯 随 机 随机 业务 推荐 关闭 预 取 

3 . IO 〇 特性 较 复杂 的 业务 推荐 采用 自 适应 的 预 取 策略 
写 策略 


如 无 特殊 需求 ， 建 议 采用 回 写 
Cache 高 低 水 位 建议 根据 实际 情况 调整 


存储 主流 RAID 类 型 选择 
PAD | WE [SS 


1 .推荐 采用 8 盘 RAID10 OLTP、Email、 
RAID 10 ”| 2. 建 议 一 个 RAID 组 下 只 创建 一 个 LUN， 分 条 深度 设 定 为 6 和 ”|Batabase 等 
~512K 
A 1 :推荐 采用 9 盘 RAID5 Backup、IPTV、 
2 建议 一 个 RAID 组 下 只 创建 一 个 LJUN， 分 条 深度 设 定 为 座 8K | 视频 监控 等 


RAID 6 1. 推 荐 采用 10 盘 RAID6 对 数据 可 靠 性 有 
2. 建 议 一 个 RAID 组 下 只 创建 一 个 .UN， 分 条 深度 设 定 为 128K | 较 高 要 求 的 应 用 
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。 存储 并 发 调整 及 资源 调整 根据 实际 业务 情况 需 考 虑 对 存储 各 模块 并 发 进行 调整 ， 主 
要 调整 模块 包括 : 存储 前 端 ，CACHE，RAID 


。 资源 调整 主要 针对 CACHE 读 写 配额 ,目的 是 为 东 些 特定 测试 场景 提供 更 多 的 
CACHE 资 源 ， 已 保证 IO 整合 与 调度 
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存储 系统 性 能 调 优 概述 : 


。 存储 与 服务 器 相连 网 络 交换 设备 调整 ， 保 证 网 络 私有 : 
0 为 避免 存储 系统 与 服务 器 间 的 网 络 传输 通道 成 为 瓶颈 或 受到 其 他 业务 的 
干扰 ， 最 佳 情况 下 建议 采用 直 连 或 搭建 私有 网 络 将 其 与 服务 器 连接 s_ 并 
保证 网 络 连 接 性 能 与 实际 业务 需求 性 能 匹配 . 
o 在 网 络 交换 设备 有 限 的 情况 下 ， ee 
证 两 者 连接 在 逻辑 上 独立 
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存储 系统 性 能 调 优 一 硬盘 


不 同类 型 磁盘 性 能 差异 
硬盘 类 型 IOPS/ 延 迟 
SSD >2000/1ms 100 MB/s 
15K HDD 200/10ms 30 MB/s 
10K HDD 150/15ms 20 MB/s 
7.2K HDD 50/20ms 10 MB/s 


传统 硬盘 内 外 道 性 能 差异 


Cheetah 15K.5 FC HDD 


TOPS 9 2p 





磁盘 内 外 道 顺序 性 能 对 比 
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1. 将 热点 区 域 尽 量 分 布 在 高 性 能 硬盘 的 外 道 。 O 


令 


& 
Cs 
OO 
S 


S 
~ 
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Cheetah 15K.5 FC HDD 


内 外 道 随机 性 能 对 比 
Page 78 HUAWEI 





NFR ET NS 


存储 系统 性 能 调 优 一 硬盘 \ 


OLTP 应 用 硬盘 数量 估算 
由 于 OLTP 应 用 中 ,硬盘 常常 成 为 性 能 瓶颈 ,需要 大 量 的 磁盘 分 担负 载 ,此 处 给 
出 大 致 的 估算 方法 作为 参考 : 
1 . 通过 采集 真实 应 用 中 ， 服 务 器 块 设备 层 和 存储 前 端的 性 能 数据 ， 估 计 

系统 的 最 大 读 \ 写 IOPS 输 出 (对 应 Physical reads 和 Physical writes) 
2 . 通过 观测 真实 应 用 中 存储 硬盘 侧 性 能 状况 ， 估 算 磁盘 单 盘 的 IOPS 输 出 
3 . 根据 存储 设置 的 具体 RAID 级 别 ， 估 算 系统 所 需 硬盘 数 

RAID10: 硬 盘 总 IOPS=Physical Reads+2*physical| ywrites 


RAID5: 硬 盘 总 IOPS$=Physical Reads+4*physical Writes 
RAID6: 硬 盘 总 IOPS=Physical Reads+6*physical writes 
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日 


性 能 测试 工具 
SAN 存 储 系统 常见 性 能 故障 排除 
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测试 工具 分 类 


0 1 1 


(io 测 斌 I 具 ) (业务 测试 [内 。 和 。 ( 基 堆 测 试 划 
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。 |O 〇 测试 工具 : 提供 IO 负载， 主要 用 于 最 基本 的 性 能 压力 测试 ， 通 常 绕 过 上 层 结构 直接 对 裸 
设备 进行 测试 ， 可 以 通过 一 些 测试 设置 大 体 模拟 某 些 实际 应 用 场景 。 

。 业务 测试 工具 : 模拟 实际 业务 场景 进行 针对 该 场景 下 存储 性 能 测试 的 工具 ， 这 些 工 具 通 常 
是 针对 某 些 特定 的 上 层 系统 在 实际 业务 申 的 应 用 来 进行 测试 的 ， 这 样 的 测试 结果 更 具 参 考 
价值 。 

。 基准 测试 工具 : 存储 性 能 三 大 基准 组 织 提供 的 针对 其 各 种 性 能 基准 的 测试 工具 。 本 着 公平 
、 公 正 、 有 可 比 性 的 原则 ,= 制定 出 的 性 能 测试 工具 一 般 是 与 存储 最 广泛 的 应 用 场景 强 相关 
的 ， 具 有 很 高 的 度量 和 对 比价 值 。 
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I0 性 能 测试 


适用 操作 系统 : 

Windows,Linux,Solaris,Netware,Mac OSX 1.Linux 存 在 异步 IO 压力 不 足 的 问 
适用 场景 : 题 

提供 非常 全 面 的 ID 特性 配置 参数 ,可 作为 IO 压力 “| 2. 无 法 进行 数据 一 致 性 验证 
测试 工具 ， 能 在 IO 层面 模拟 一 些 简单 的 业务 场景 | 3. 联 机 测试 中 容易 出 错 

,支持 联机 测试 


lometer 


适用 操作 系统 : 1. 存 在 一 些 兼容 性 bugy 在 荣 些 主 
Windows,Linux,Solaris,Mac OSX,AIX,HP 机 或 操作 系统 上 运行 会 报错 
UNIX,IRIX 2. 无 法 设置 测试 时 间 

适用 场景 : 3 .测试 时 工具 本 身 有 ss 些 性 能 波动 
可 作为 IO 压力 测试 工具 ,目前 在 AlX 下 使 用 最 多 ”|4. 不 支持 联机 测 误 


适用 操作 系统 : 

Linux,Solaris, AIX,HP UNIX 1.O 特 性 配置 霓 数 不 够 丰富 
IORaQte ”| 适用 场景 : 2. 不 支持 在 Windows 平 台 上 测试 

可 作为 IO 压力 测试 工具 ， 可 以 模拟 相同 IO 特性 ”| 3. 不 支持 联机 测试 

的 不 同 压力 等 级 
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。 IOZone 测 试 对 象 : 文件 系统 ， 
Postmark 测 试 对 象 : 文件 系统 ， 
Boine++ 测 试 对 象 : 主要 是 文件 系统 和 存储 设备 


业务 场景 测试 


适用 操作 系统 : Windows,Linux 

适用 场景 : 测试 不 同类 型 文件 系统 在 
Read, write, re-read, re-write, read 
backwards, read strided, fread, fwrite, 
randomread, pread ,mmap， 
aio_read, aio_write 时 的 性 能 状况 





IOZone 


适用 操作 系统 : Windows,Linux,Solaris 
Postmark | 适用 场景 : Email Server， 小 文件 应 用 场 
景 和 文件 系统 老化 测试 


适用 操作 系统 : Linux 和 UNIX 相 关 平 台 
Boine++ | 适用 场景 : 测试 文件 各 种 读 写 方式 性 能 ， 
测试 大 量 文 件 创建 删除 


Oracle 性 能 测试 基准 工具 ， 针 对 Oracle 
rion 数据 的 OLTP，BackUup 和 QLTP+Backup 
混合 业务 进行 模拟 . 无 须 安装 oracle 数 据 


库 即 可 用 于 测试 存储 在 oracle 下 的 性 能 
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1. 只 能 作为 测试 存储 产品 与 特定 主机 和 文件 系统 
搭配 时 的 性 能 测试 工具 ， 基 本 不 具备 场景 模拟 


功能 
2 .不 具备 对 文件 创建 删除 \ 遍 历 和 对 目录 铝 作 
的 能 力 

3. 无 法 联机 测试 ; 不 具备 数据 一 到 性 术 验 能 直 


1. 单 线程 程序 ， 压 力 不 充 分 

2. 通 过 随机 函数 实现 文件 的 读 / 写 玖 创建 测 | 除 ， 
操作 不 可 控 ， 不 具备 目录 操作 能 为 

3. 只 适用 于 小 文件 操作 场景 的 模拟 

4. 无 法 联机 测试 ， 不 具备 数据 = 致 性 校 验 能 力 


类 似 lOQZone ， 但 支持 的 文件 操作 和 可 控 操作 上 比 
IOZone 更 少 . 一 般 不 使 用 


1. 无 法 联机 测试 
2. 无 法 模拟 Cracle 答 特定 区 域 的 ID 特性 


Wb Huawel 





计算 机 CPUs- 从 存 和 存储 设备 
计算 机 CPU， 内 存 和 存储 设备 
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性 能 测试 基准 


SPC-i SPC-1 性 能 基准 配套 测试 工具 用 于 评估 存储 产品 在 
OLTP\Emoail\Database 三 种 应 用 场景 下 的 性 能 状况 
SPC-2 SPC-2 性 能 基准 配套 测试 工具 用 于 评估 存储 产品 在 Backup\VOD 
(video on demand) \OLAP 三 种 应 用 场景 下 的 性 能 状况 


SPC-3BR: 

基于 存储 管理 软件 的 性 能 测试 基准 ， 度 量 数 据 备 份 和 恢复 的 性 能 ws 该 

SPC-3ILM: 

基于 存储 管理 软件 的 性 能 测试 基准 ， 度 量 多 存储 系统 节点 版 组 成 的 大 
型 存储 解决 方案 的 性 能 . 目前 该 基准 还 处 于 构想 阶段 


构造 一 个 典型 的 批发 商 应 用 模型 ， 验 证 由 服务 器 、 数 据 库 、 存 储 所 搭 
TPC-C “| 建 的 一 整套 业务 系统 在 OLTP 业 务 下 的 性 能 . 
TPC-C 规 范 只 提供 了 规范 和 工具 的 实现 方式 ， 并 未 提供 实际 测试 工具 


验证 服务 器 和 存储 搭建 的 业务 系统 在 NAS 业 务 下 的 性 能 .支持 CIF3 和 
SFS2008 |NFS 
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人 已 » 三 每 
性 能 测试 基准 一 SPC 
。 SPC 基 准 组 织 介绍 。 SPC 模 拟 场景 
e。 SPC (storage Performance 


Council) 


。 是 存储 性 能 委员 会 的 简称 。 


访问 SPC 网 站 


_ r 
© a 
Performance 
Council 


Wb Huawel 
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SPC 自 身 是 一 个 非 营利 组 织 ， 它 的 建立 就 是 为 了 定义 、 标 准 化 以 及 促进 存储 子 系统 的 基 
准 ， 同 时 向 计算 机 厂商 和 用 户 发 布 客观 、 权 威 S 公 正 的 性 能 数据 ， 为 客户 提供 参照 ， 为 存储 
厂商 提供 交流 平台 携手 提升 存储 性 能 。 它 公布 的 性 能 数据 得 到 了 各 大 存储 厂商 和 客户 的 广泛 


认可 。 
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性 能 调 优 概述 


性 能 指标 


影响 性 能 的 关键 因素 及 技术 


性 能 测试 工具 
SAN 存 储 系统 常见 性 能 故障 排除 


6.1 存储 侧 性 能 问题 排除 
6.2 网 络 侧 性 能 问题 排队 
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XX_front: 具体 处 理 主机 接口 协议 的 传输 层 ， 例如: FC、SCSI (iSCSl) 、SAS 
MTGT: 目标 器 中 层 ， 负 责 SCSI 命 令 状态 管理 和 前 后 调度 

SC3SI: 负责 SC3SI 命 令 的 解析 和 处 理 

HMP: 多 路 径 控制 模块 与 主机 多 路 径 交 互 ， 负 责 把 读 写 命令 发 送 到 合适 的 控制 器 处 理 
CACHE: 负责 cache 管 理 , 例如 回 写 、 透 写 、 预 取 等 

RAID: RAID 管 理 和 数据 组 织 sS 例 如 2/10/0 重 构 、copyback 

DMP: 当 控 制 器 访 盘 失败 后 % 启动 对 端 控制 器 访问 硬盘 

FCINI: FC 协议 启动 器 

SASINI: SAS 协议 启动 器 

IBS: 负责 控制 器 间 通 讯 管理 (主要 是 PCle) 

SYS: 系统 管理 ”控制 各 业务 模块 的 启动 、 停 止 等 

DB :管理 和 保存 系统 的 配置 数据 

IBC: 板 间 通讯 模块 ， 负 责 管 理 命令 的 通信 


0 5410 


SAN 系 统 与 网 络 的 MO 路 径 〈1/2 ) 


四 控制 器 A 控制 器 B b 
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TGT: 目标 器 中 层 ， 负 责 SCSI 命 令 状态 管理 和 前 后 调度 
HMP: 多 路 径 控制 模块 与 主机 多 路 径 交 互 ， 负 责 把 读 写 命令 发 送 到 合适 的 控制 器 处 理 
IBS: 负责 控制 器 间 通 讯 管 理 (主要 是 PCle) 

CACHE: 负责 cache 管 理 , 例如 回 号 、 透 写 、 预 取 等 
RAID: RAID 管 理 和 数据 组 织 , 仿 例如 53X10/0 重 构 、copyback 
DMP: 当 控 制 器 访 盘 失败 后 兴 启 动 对 端 控制 器 访问 硬盘 

INI: 协议 启动 器 

个 表示 回 写 镜 像 的 TI 路径; 

@ 表 示 透 写 的 10 路 径 。 

@ 表示 读 未 命中 六 从 硬盘 中 读数 据 

@ 表 示 读 命中 ， 和 直接 从 cache 中 读 到 数据 
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SAN 系 统 与 网 络 的 MO 路 径 〈2/2 ) 
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当 本 端 RAID 模 块 到 DISK 的 路 径 出 现 异 常 时 ， 就 会 通过 DMP 模 块 ， 走 IB3 通 道 ， 到 对 端 去 处 
理 |O， 这 时 IO 路 径 更 长 ， 性 能 会 下 降 。 
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存储 侧 性 能 问题 排查 思路 


{ 硕 重 为 通 写 
电池 故障 
阵列 故 陈 }s| 电源 故障 


单 控 运 行 人 


iSCSI 链 路 


[LUN 透 写 | 


ET 路 问题 /e| 寺 入 二 


| 存在 慢 盘 
”HLUN 是 否 正在 稀 趟 化 
d 其 它 问题 /eH{RAID 组 ，LUN 配 置 不 合理 | 
小 数据 随机 ION 
{ 硬盘 双 帝 衣 问 


<、 
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存储 侧 性 能 问题 排查 方法 与 步骤 


排查 步骤 
查看 LUN 状 态 ; 
查看 电池 状态 ; 
查看 电源 状态 ; 
查看 控制 器 状态 或 者 观察 控制 器 指示 灯 状态 ; 以 
查看 网 口 的 速率 ; 
主机 上 使 用 大 数据 包 ping 命 令 ， 如 windows 下 : ping [ip] -| 20000 -t; 
调试 模式 下 执行 iostat -x 1 查看 硬盘 svctm 是 否 超过 50ms 或 者 某 个 硬盘 svctm 人 明显 高 于 其 他 
硬盘 ; 
查看 同一 个 RAID 组 中 LUN 是 否 归 属于 不 同 的 控制 器 ; 
查看 LUN 的 工作 控制 器 是 否 和 接收 IO 的 控制 器 相同 。 
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存储 侧 性 能 问题 排查 案例 


。 描述 问题 
o 某 IPTV 局 点 客户 反馈 ， 偶 尔 出 现 黑屏 情况 。 
。 分 析 原 因 
o 系统 状态 正常 ，LUN 运 行 策略 为 回 写 镜像 ， 链 路 正常 ， 无 误 码 ， 无 闪 断 。 使 用 
iostat -x 1 观察 ， 发 现在 业务 量 大 时 ， 有 一 个 盘 的 服务 时 间 (Svctm) 明显 
其 他 盘 高 很 多 ， 超 过 50ms， 该 盘 为 慢 盘 。 
o 将 该 硬盘 离线 ， 并 更 换 该 硬盘 。 
。 验证 恢复 
o 更 换 慢 盘 后 ， 没 有 再 出 现 黑屏 现象 。 
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名 目录 


生 能 调 优 概述 


| 
性 能 指标 

影响 性 能 的 关键 因素 及 技术 

性 能 诊断 和 调 优 

性 能 测试 工具 

SAN 存 储 系统 常见 性 能 故障 排除 
6.1 存储 侧 性 能 问题 排除 

6.2 网 络 侧 性 能 问题 排除 


6.3 主机 侧 性 能 问题 排队 
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测试 iSCSI 组 网 连通 性 和 市 宽 
测试 FC 组 网 连通 性 和 带宽 | 


| 网络 带 宽 上 


| 使 用 uptool 查 看 路 径 连 接 情 况 ) 
j| 网 络 路 径 国 | 调整 多 路 径 选 路 算法 ! 
集群 环境 是 否 关闭 failover 功 能 | 


ww 
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网 络 层 性 能 问题 排查 方法 与 步骤 


。 排查 网 络 带宽 的 常见 方式 有 如 下 几 种 : 

o 针对 iSCSI 的 组 网 方式 ， 可 以 使 用 ping 包 的 命令 ， 从 主机 直接 ping 阵 
列 的 业务 网 口 ， 查 看 网 络 延 迟 和 丢 包 现象 。 

o 针对 FC 组 网 方式 ， 可 以 先 通 过 命令 showfreepolrt 查看 主机 端口 是 外 
连通 ， 然 后 使 用 showfps 查 看 端口 速率 。 通 过 确认 端口 速率 排除 端口 
速率 协商 过 低 的 问题 。 

o 针对 FC 组 网 方式 ， 可 以 在 ISM 查 看 端口 误 码 信 息 ， 排 除 网 络 传输 误 码 
导致 的 性 能 问题 。 
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网 络 层 性 能 问题 排查 方法 与 步骤 


。 排查 网 络 路 径 的 常见 方式 有 如 下 几 种 : 


o 通过 使 用 多 路 径 命 令 upadm - 3 查看 主机 到 阵列 路 径 数 以 及 连通 状 
况 。 


针对 主机 到 阵列 多 条 路 径 的 情况 ， 可 以 通过 调整 主机 上 多 路 径 的 先 攻 


算法 来 实现 存储 系统 的 性 能 提升 。 


o 集群 的 一 种 场景 ， 主 机 没有 关闭 多 路 径 的 failover 功 能 ， 导 致 路 径 切 
换 影 响 读 写 性 能 。 
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o 客户 反馈 将 LUN 映 射 给 集群 主机 后 ， 测 试 性 能 下 降 较 多 。 
。 分 析 原 因 
o 查看 存储 系统 正常 ， LUN 运 行 策略 为 回 写 镜 像 ， 但 主机 不 断 下 发 LUN 路 径 切 换 命 全 


o 排查 发 现 其 中 一 台 主 机 的 A 控 链 路 故障 后 ， 下 发 了 切 LUN 命 令 至 B 控 ， 而 对 另 朱 人 
台 主 机 ，A 控 才 是 LUN 真 正 的 归属 和 工作 控制 器 ， 同 样 也 下 发 切换 LUN 命 令 至 B 控 。 


。 解决 步骤 
1、 修 复 故 障 的 链 路 
2、 关 闭 多 路 径 的 failover 功 能 ， 解 决 该 问题 
。 验证 恢复 
1、 链 路 修复 后 ， 读 写 性 能 能 够 恢复 正常 
2、 直 接 关闭 多 路 径 的 failover 功 能 ， 读 写 性 能 也 能 够 恢复 正常 





~ 
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名 目录 


生 能 调 优 概述 


性 | 
性 能 指标 

影响 性 能 的 关键 因素 及 技术 

性 能 诊断 和 调 优 

性 能 测试 工具 

SAN 存 储 系统 常见 性 能 故障 排除 
6.1 存储 侧 性 能 问题 排除 

6.2 网 络 侧 性 能 问题 排除 


6.3 主 机 


侧 性 能 问题 排除 
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主机 侧 性 能 问题 排查 思路 


| HBA 卡 参数 设置 | 


| 主机 全 性 能 问题 | dWindows 主 机 ed 通过 性 能 监测 [于 看 到 据 读 写 全 


[使 用 sar 命 令 查 看 CPU， 内 在 使 用 情况 
使 用 iostat 命 令 查看 存储 使 用 傅 沉 


|Linux 主 机 上 


< 人、 
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SAN 性 能 影响 因素 一 主机 侧 


。 HBA 卡 
o 最 大 单个 请 求 大 小 
o 最 大 并 发 请 求 数 
0 选择 合适 的 HBA 卡 驱动 
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。 最 大 单个 请 求 大 小 : 主机 HBA 卡 通过 设置 驱动 参数 来 限定 下 发 请 求 数据 的 最 大 值 。 建 议 将 
主机 HBA 卡 最 大 单个 大 小 请 求 设置 不 超过 1MB% 设置 方法 参考 HBA 卡 驱动 手册 。 

。 最 大 并 发 请 求 数 : 主机 HBA 每 个 端口 有 最 大 请 求 并 发 数 限制 。 建 议 设置 在 256 - 512 之 间 。 

最 大 请 求 并 发 数 查 看 和 设置 方法 参考 HBA 趟 驱动 手册 。 

选择 合适 的 HPA 卡 驱动 : 比如 说 将 二 个 1MB 的 请 求 拆 分 为 一 个 1020 个 扇 区 和 8 个 扇 区 的 两 个 

请 求 ， 导 致 数据 不 是 满分 条 下 发 , /影响 测试 性 能 。 此 时 可 以 选择 不 拆 分 I0 的 HBA 卡 驱动 。 
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主机 侧 性 能 问题 排查 万 法 \ 


。 Windows 主 机 性 能 查询 方法 
o 在 windows 系 统 下 查看 性 能 ， 通 常会 先 收集 Performance monitor 信 息 ， 来 
o 首先 确认 IO 性 能 的 状态 ， 运 行 方法 为 ， 开 始 菜单 ， 运 行 “Perfmon”， 可 以 
o 新建 一 个 CounterLogs 选 择 Counter 来 查看 IO 的 读 写 性 能 。 
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。 通常 的 Disk 性 能 指标 有 : 
o Logical Disk\Avg Disk Sec/Transfer : < 10ms 比较 好 ; 
oO PhysicalDisk\Avg. Disk Reae QUeue Length : 这 个 值 小 于 2 比较 好 ; 
o PhysicalDisk\Avg. Disksec/Read: <20 ms 比较 好 ; 


o PhysicalDisk\Avg. sDisko Queue Length : Should not be higher than the 
number of spindles plus two.; 


o PhysicalDisk Avg.Disk Sec/Transfer。 


。 注意 ， 以 上 任何 参数 都 不 是 固定 的 ， 需 要 结合 起 来 看 。 
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主机 侧 性 能 问题 排查 万 


通常 的 Disk 性 能 指标 有 : 
Logical Disk\Avg Disk Sec/Transfer : < 10ms 比较 好 ; 
PhysicalDisk\Avg. Disk Read Queue Length : 这 个 值 小 于 2 比较 好 ; 


PhysicalDisk\Avg. Disk sec/Read: <20 ms 比较 好 ; 人 


PhysicalDisk\Avg. Disk Queue Length : Should not be higher tharadh 
number of spindles plus two.; 


PhysicalDisk\Avg. Disk sec/Transfer。 
注意 ， 以 上 任何 参数 都 不 是 固定 的 ， 需 要 结合 起 来 看 。 
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主机 侧 性 能 问题 排查 方法 


。 Linux 主 机 性 能 查询 方法 
Linux 系 统 资源 监控 命令 主要 用 于 监控 CPU 利用 情况 和 内 存 利用 情况 ， 主 
要 使 用 命令 如 下 : 
sar [options] [-o file] t [n] 
edi n 和 + 两 个 参数 组 合 起 来 定义 采样 间隔 和 次 数 ，1 为 采样 间 
eli n 为 采样 次 数 ， 是 可 选 的 ， 默 认 值 是 1 ，-o file 羔 示 将 
站 
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CPU: 表示 机 器 内 所 有 的 CPU; 

ZR%User: 表示 CPU 的 利用 率 ; 

%nice: 表示 CPU 在 用 户 层 优 先 级 的 百分比 ，0 表 示 正 常 ; 

%system: 表示 当 系 统 运 行 时 y 在 用 户 应 用 层 上 所 占用 的 CPU 百 分 比 ; 
%iowait: 表示 请 求 硬盘 /9 数据 流出 时 ， 所 占用 CPU 的 百分比 ; 


2iqle: 表示 空闲 CPU 再 分 比 ， 值 越 大 系统 负载 越 低 。 
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主机 侧 性 能 问题 排查 方法 


。 监控 内 存 利用 情况 


kbmemfree: 空闲 内 存 大 小 ， 单 位 kb ; 
kbmemused: 使 用 内 存 大 小 ， 单 位 kb; 
%memused: 内 存 使 用 百分比 ; 
kbbuffers: 系统 buffer 使 用 的 内 存 ; 
kbcached: cache 使 用 的 内 存 。 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 104 RD HUAVWEI 





其 中 awqit，svctm 和 %util 三 个 参数 比较 重要 ， 表 示 当 前 硬盘 的 工作 状态 : 


qawoqit: 平均 每 次 设备 MO 操作 的 等 待 时 间 (毫秒 )， 即 delta(ruse+wuse)/delta (rio+wio) 
syctm: 平均 每 次 设备 1/O 〇 操作 的 服务 时 间 (毫秒 )， 即 gqelta(use)j/delta(rio+Wwio) ; 


util: 一 秒 中 有 百 分 之 多 少 的 时 间 用 于 MO 操作 ， 或 者 说 一 秒 中 有 多 少时 间 MO 队列 是 非 
空 的 ， 即 


delta(use)/s/1000 (因为 use 的 单位 为 毫秒 ) 。 
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主机 侧 性 能 问题 排查 万 法 


e iostat 命 令 
oO iostat -x -+2( 打 印 间 隔 时 间 ) 
oO iostat 命 令 用 于 显示 当前 CPU 利 用 状态 和 各 磁盘 的 使 用 情况 ， 显 示 结果 如 下 : 
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Linux 下 主机 侧 性 能 问题 排查 常用 命令 : 
Uptime 命令 的 显示 结果 包括 服务 器 已 经 运行 了 多 长 时 间 ， 有 多 少 登 陆 用 户 和 对 服务 器 性 
能 的 总 体 评估 (load average) 。 
top 命 令 显 示 了 实际 CPU 使 用 情况 去 默认 情况 下 ， 它 显示 了 服务 器 上 占用 CPU 的 任务 信息 
并 且 每 5 秒 钟 刷新 一 次 。 你 可 以 通过 多 种 方式 分 类 它们 ， 包 括 PID、 时 间 和 内 存 使 用 情况 。 
iostat 是 sysstat 包 的 一 部 分 wf iostat 显 示 自 系统 启动 后 的 平均 CPU 时 间 〈 与 upfime 类 似 ) 
， 它 也 可 以 显示 磁盘 子 系 统 的 使 用 情况 ，iostat 可 以 用 来 监测 CPU 利 用 率 和 磁盘 利用 率 。 
vmstat 命 令 提供 了 对 进程 、 内 存 、 页 面 |/O 块 和 CPU 等 信息 的 监控 ，vmstat 可 以 显示 检测 
结果 的 平均 值 或 者 取样 值 》 取 样 模式 可 以 提供 一 个 取样 时 间 段 内 不 同 频率 的 监测 结果 。 
free 命 令 显示 系统 的 所 有 内 存 的 使 用 情况 ， 包 括 空 闲 内 存 、 被 使 用 的 内 存 和 交换 内 存 空 间 
。Free 命 令 显示 也 包括 一 些 内 核 使 用 的 缓存 和 缓冲 区 的 信息 。 
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思考 题 


1， 哪些 存储 配置 会 对 性 能 产生 影响 ? 
2， 华 为 存储 有 哪些 功能 用 来 提升 客户 体验 ? 
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@ 总 结 \ 


性 能 指标 

影响 性 能 的 关键 因素 及 技术 

性 能 诊断 和 调 优 

性 能 测试 工具 和 方法 

SAN 存 储 系统 常见 性 能 故障 排除 
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@ 习题 


。 判断 题 
1， 在 顺序 写 的 应 用 场景 下 ,对 于 RAID10 来 说 ,磁盘 数量 越 多 越 好 (Tof 有 
。 单 选 题 
1. Cache 中 单个 chunk 最 大 可 以 是 多 大 ? ( 
A. 64KB 
B. 256KB 
C. 512KB 


D. 1MB 
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。 习题 答案 : 
o 判断 题 : 1.T 
口 单 选 题 : 1.D 
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Thank you 


www.huawel.com 
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目标 


。 学 完 本 课程 后 ， 您 将 能 4 
o 熟悉 统一 存储 系统 规划 的 目标 
o 熟悉 统一 存储 系统 规划 的 步骤 和 方法 
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图 目录 


.统一 存储 系统 规划 原则 和 流程 
.统一 存储 系统 主机 层 规划 

.统一 存储 系统 网 络 层 规划 

， 统一 存储 系统 存储 层 规划 

， 统一 存储 系统 规划 案例 
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统一 存储 规划 目标 


。 目标 : 满足 客户 的 需求 


"应 用 需求 


|v 兼容 性 | v 资金 预算 
v 性 能 v 人 力 预 算 以 


v 容量 Y 可 管理 性 

v 可 靠 性 v 资源 利用 效率 
v 可 扩展 性 v 节能 减 排 

v 灾 备 需求 

可 服务 性 
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。 满足 客户 业务 需求 : 


D 兼容 性 ， 包 括 O 〇 OS 兼容 性 、 软 硬件 兼容 性 ， 此 处 兼容 性 作为 选择 3AN 组 件 的 基础 ， 
必须 在 规划 前 弄 清楚 各 SAN 存 储 兼容 性 列表 。 


o 性 能 需求 ， 包 括 要 害 业务 应 用 的 性 能 峰值 带宽 、 所 有 业务 系统 的 性 能 峰值 带宽 、 
各 业务 系统 响应 时 间 、 延 迟 。 


o 容量 需求 : 现 有 业务 存储 改 量 需求 、 业 务 增长 容量 需求 (月 增长 量 ) 。 
o 可 靠 性 ， 包 括 存 笛 可 靠 性 、 网 络 可 靠 性 、 主 机 可 靠 性 。 


oO 备份 与 容 灾 需求 、 紧 急 情况 下 ， 需 要 什么 应 用 程序 来 迅速 、 有 效 切 换 到 另 一 个 备 
用 数据 中 心 ? 是 否 有 备用 数据 中 心 ? 假如 有 ， 与 主 用 数据 中 心 的 距离 有 多 远 ? 需 
要 在 峰值 生产 时 间 克 隆 或 快照 任务 要 害 型 数据 


5 可 用 性 : 是 否 存在 计划 外 停机 、 不 中 断 业务 情况 下 需 新 增 哪些 存储 资源 

0 可 服务 性 : 问题 诊断 与 故障 排除 。 

EE 业务 扩展 需求 ， 如 存储 需求 比 服务 器 需求 快 多 少 、 来 年 预计 存储 空间 扩容 、 来 年 
预计 新 增 业务 应 用 (ERP、CRM、MIS 等 ) 、 未 来 N 年 存储 规划 等 。 


全 满足 客户 IT 应 用 需求 : 主要 包括 预算 与 投入 、 资 金 投 入 、 人 力 投入 、 时 间 投入 、 可 管理 
性 简单 管理 、 融 易 存储 ， 以 及 资源 利用 率 、 节 能 减 排 等 。 
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统一 存储 系统 规划 原则 、 
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SAN 规 划 总 的 原则 : 需求 主导 ， 统 筹 规划 具体 在 规划 SAN 时 ， 应 依据 下 面 四 个 具体 
原则 : 


。 单一 需求 原则 : 业务 需求 驱动 技术 选择 ， 最 成 功 的 SAN 规 划 与 部 署 来 源 于 单一 需求 。 对 
比 客户 的 需求 列表 ， 明 确 哪个 需求 是 最 至 关 重 要 的 ， 然 后 集中 精力 围绕 该 需求 进行 设计 
、 验 证 与 部 署 。 单 一 需求 不 是 仅仅 关注 一 个 需求 ， 而 是 以 最 核心 的 业务 需求 为 重点 ， 以 
其 他 业务 需求 为 补充 。 


。 简单 设计 原则 : 通过 对 SAN 管 理 单元 进行 设计 ， 管 理工 作 简化 、 出 错 的 机 率 减少 ,可 用 
性 也 由 此 得 到 提高 。 经 仔细 构思 和 实施 的 SAN 设 计 可 便于 随时 增加 新 的 服务 器 和 存储 目 
标 ， 同 时 用 户 不 必 头疼 于 复杂 的 Fabric 架 构 路 径 。 围 绕 多 个 SAN 管 理 单元 和 SAN 路 由 而 
设计 的 大 型 数据 中 心 存储 网 络 更 易于 扩展 ， 使 得 管理 员 通过 可 靠 且 一 致 的 SAN 设 计 战略 
即 能 满足 其 企业 不 断 增长 的 业务 需求 。 

。 开放 性 与 标准 化 设计 方案 中 所 采用 的 技术 和 选用 的 产品 都 必须 是 标准 的 、 业 界 公认 的 
主流 ， 而 且 必须 满足 开放 性 的 要 求 。 

。 经 济 性 原则 ;设计 方案 不 但 要 考虑 采用 技术 的 先进 、 可 靠 ， 而 且 还 必须 考虑 用 户 的 经 济 
负担 。 因 此 ， 设 计 方案 必须 具备 很 高 的 性 能 价格 比 ; 盘点 与 分 析 现 网 中 哪些 SAN 组 件 仍 
然 能 满足 客户 的 业务 需求 ， 并 且 能 够 连 和 SAN 环境， 如 交换 机 、 路 由 器 、 网 线 、 光 纤 等 
、 做 到 尽量 使 用 客户 存在 的 设备 ， 减 少 在 该 方面 的 投入 。 
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。 聚焦 客户 需求 : 


口 


口 


依据 SAN 规 划 目 标 介绍 的 需求 列表 ， 逐 条 与 客户 确认 各 条 需求 的 指标 。 

对 照 业 务 需求 列表 ， 确 定 哪 条 需求 是 至 关 重 要 的 ， 然 后 围绕 该 需求 进行 规划 、 设 
计 与 验证 。 

成 功 运营 SAN 后 ， 利 用 运营 结构 来 展示 投资 回报 情况 ， 并 可 部 署 更 多 SAN 满 足 业 
务 应 用 或 者 扩展 SAN4 


。 盘点 环境 
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口 


口 


对 比 已 存在 3 入 NN 存储 ， 需 增加 支持 哪些 业务 需 


盘点 现 有 组 件 , 明确 哪些 可 继续 使 用 ， 如 主机 信息 、 存 储 设备 信息 、 网 络 设备 信 
、 盘 和 扎 组 网 与 环境 ， 确 定 组 网 限制 与 布线 等 。 


盘点 组 件 信 息 ， 包 括 主机 操作 系统 、HBA 个 数 以 及 驱动 程序 (包括 驱动 程序 的 版 
本 号 ) 、 所 支持 连接 的 类 型 ( 环 路 或 者 光纤 通道 ) 、 应 用 清单 、 初步 和 预期 存储 
要 求 、 尺 寸 以 及 重量 ， 存 储 设 备 包 括 品牌 、 型 号 以 及 固件 版 本 、 所 支持 连接 的 
类 型 ( 环 路 或 者 光纤 通道 、 可 支持 的 主机 数量 、 端 口 以 及 每 个 端口 可 支持 的 主机 
数量 、 容 量 (已 用 容量 以 及 空闲 容量 ) 、 光 纤 通 道 接口 的 数量 以 及 类 型 、 以 太 网 
接口 的 数量 以 及 类 型 等 


统一 存储 规划 流程 


。 收集 需求 
,首要 需求 
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。 分 析 设 计 
0 分 析 库 存 清 单 、 明 确 可 重用 组 件 忆 选择 新 组 件 应 考虑 哪些 物理 需求 
5 从 性 能 、 可 靠 性 、 容 量 与 可 扩展 性 等 方面 规划 与 设计 3AN。 

。 方案 验证 
Do 验证 前 面 规 划 的 SAN 方 案 能 否 满足 需求 。 
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统一 存储 系统 规划 


。 IP SAN 与 FC SAN 选 择 控制 器 性 能 
。SAN 网 络 拓扑 RAID 组 规划 
。 VLAN/zone 划 分 LUN 归 属 
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主机 操作 系统 规划 


刀片 、 机 架 服 务 器 


刀片 、 机 架 服 务 器 





刀片 所 机 洒 服 务 器 
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。 需要 根据 客户 的 业务 的 关键 程度 、 性 能 需求 等 因素 来 考虑 使 用 的 操作 系统 类 型 和 相应 的 
硬件 类 型 对 于 关键 类 型 的 应 用 可 以 采用 小 型 机 来 作为 主机 平台 。 


。 虚拟 机 目前 正在 成 为 主机 部 署 的 热点 
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主机 文件 系统 规划 、 
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。 文件 系统 是 操作 系统 用 于 明确 磁盘 或 分 区 上 天 件 的 方法 和 数据 结构 ， 即 在 磁盘 上 组 织 文 
件 的 方法 。 


。 裸 盘 在 分 区 和 创建 文件 系统 之 后 容量 是 有 损失 的 。 
。 文件 系统 不 同 ， 其 文件 系统 建立 后 导致 的 容量 损失 也 不 尽 相 同 。 
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双 机 和 集群 技术 介 


局 可 用 集群 【High Availability) 局 性 和 集群 (High Perfermarnice) 


致力 于 提供 高 可 靠 服务 致力 于 提供 单个 计算 机 所 不 
一 高 可 靠 性 集群 能 提供 的 强大 的 计算 能 
一 负载 均衡 集群 一 高 吞吐 计算 集群 

一 分 布 计算 集群 
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集群 又 称 为 机 群 或 群集 。 始 于 上 世纪 70 年 代 %= 用 于 科学 计算 ， 随 着 Linux 集 群 的 出 现 ， 
集群 才 开 始 推 广 。 
高 可 用 (High Availability) 集 群 ,简称 HA 集群 。 这 类 集群 致力 于 提供 高 度 可 靠 的 服务 。 
高 可 靠 集群 是 高 可 用 集群 的 一 种 ,一般 具 有 如 下 功能 : 

0 硬件 全 见 余 : 心跳 线 、 业 务 网 口 、 存 储 连接 等 ; 


5 故障 自动 切换 : 集群 软件 自动 监控 故障 (包括 软 、 硬 件 故 障 )、 提 供 切 换 策 略 ( 包 
括 本 地 切换 与 服务 器 间 切 换 ) 。 


oO 适用 情况 : 高 可 靠 性 要 求 ， 人 允许 业务 短暂 中 断 ; 负载 较 小 。 
高 可 靠 集群 特点 : 
D 不 需 操作 者 干涉 的 情况 下 自动 故障 恢复 ; 当然 ， 对 失败 节点 的 故障 定位 及 修复 ， 
还 是 需要 专门 技术 人 员 进 行 操作 。 
oO 硬件 上 尽量 避免 单 点 故障 ， 各 部 件 元 余 备 份 ; 实际 应 用 中 对 可 靠 性 高 的 部 件 可 不 
做 元 余 配置 。 
oO 软件 上 具备 系统 自动 检测 和 切换 功能 。 
0 错误 恢复 过 程 需 要 短暂 时 间 ， 所 有 会 有 短暂 停机 。 
高 性 能 计算 (High Perfermance Computing) 集 群 ， 简 称 HPC 集 群 。 
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SAN 网 络 架构 选择 


。 IP SAN 与 FC SAN 选 择 


性 能 要 求 低 ; 分 布 式 应 用 ， 大 多 数 依 赖 软件 | 高 性 能 、 关 键 性 的 数据 中 心 ， 稳 定性 好 ， 
实现 ， 稳 定性 与 可 靠 性 随 软件 复杂 度 降低 可 靠 性 高 


TCP/IP 协 议 ， 开 放 性 好 ， 完 全 跨 平台 文件 系统 | FC 协 议 与 专用 网 络 ， 受 光纤 算 钦 影响， 
共 易 形 成 存储 孤岛 


一 


SCcSI 提 供 了 非常 丰富 的 安全 功能 : CHAP 身 份 
险 证 能 阻止 未 授权 的 访问 ; IPsec 能 阻止 插入 、| 依赖 专用 FC 网 络 ,MeFC 本 身 没 有 安全 功 
SEE 


政和 全 除 提 作 ， 并 防 上 被 从 听 ， 确 保 了 和 能 


利用 标准 TCP/IP 以 及 以 太 网 网 络 ， 简 单 、 成 本 | 复杂 与 昂贵 的 光纤 网 络 、HBA 卡 与 FC 磁 
低 ， 技 术 成 熟 、 维 护 简单 盘 。 需 专 业 维 护 工程 师 
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SAN 网 络 拓扑 


单 交 换 组 网 
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10 路径 风 余 与 多 路 径 软件 


。 10 路 径 元 余 
10 路 径 元 余 
o 交换 机 宛 余 
o 路 由 器 元 余 


。 多 路 径 软件 
0 多 路 径 软件 介绍 
m UltraPath 支 持平 台 
Linux 以 及 UNIX 
0 多 路 径 软件 的 作用 
= 屏蔽 见 余 磁盘 
=m FailoverSFailback 
a ”负载 均衡 
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多 路 径 软 件 支持 是 为 基于 应 用 服务 器 与 SAN4 连 接 提 供 高 可 用 性 的 众多 增强 功能 之 一 


。 常 用 的 多 路 径 软 件 有 EMC PowerPathw HP PVLinks、Linux Device-mapper、 
Microsoft MPIO 。 


多 路 径 解 决 方案 使 用 元 余 的 物理 路 径 组 件 〈 适 配器 、 电 缆 和 交换 机 ) 在 服务 器 与 存储 


设备 之 间 创 建 逻辑 路 径 。 如 果 这 些 组 件 中 的 一 个 或 多 个 发 生 故 障 ， 导 致 路 径 无 法 使 用 ， 多 
路 径 逻 辑 就 使 用 MO 的 备用 路 径 以 使 应 用 程序 仍然 能 够 访问 其 数据 。 每 个 网 络 接口 卡 (在 
使 用 SCsI 的 情况 下 ) 或 HB 人 都 应 通过 使 用 郊 余 的 交换 机 基础 结构 连接 起 来 ， 以 便 在 存储 
结构 组 件 发 生 故 障 时 能 继续 访问 存储 。 


故障 转移 次 数 因 存储 供应 商 而 异 ， 并 且 可 以 通过 使 用 Microsoft iSC3l 软件 发 起 程序 


驱动 程序 中 的 计时 器 或 修改 光纤 通道 主机 总 线 适 配器 驱动 程序 参数 设置 进行 配置 。 
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VLAN 与 ZONE 划分 \ 


VLAN/ZONE 
划分 


尽量 保证 交换 机 双 控 制 器 与 主机 访 

VLAN 和 ZONE 里 i wy 

0 间 的 连接 尽量 划 盘 
在 不 同 IVLAN 和 
ZONE 中 
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VLAN，Virtual Local Area Network， 即 虚拟 局 域 网 ， 是 一 种 将 局 域 网 设备 从 逻辑 上 
划分 成 一 个 个 网 段 ， 从 而 实现 虚拟 工作 组 的 数据 交换 技术 。VLAN 划 分 可 防范 网 络 风暴 、 
提高 网 络 安 全 、 降 低 网 络 成 本 等 优点 。 


VLAN 常 用 划分 策略 ， 包 括 基 于 端口 的 VLAN 划 分 、 基 于 路 由 的 VLAN 划 分 以 及 基于 
MAC 地 址 的 VLAN 划 分 ， 最 常用 的 是 基于 前 两 种 的 划分 。 


络 中 的 设备 (主机 和 存储 ) 产 逻 辑 上 划 到 为 不 同 的 区 域内 ， 使 得 不 同 区 域 中 的 设备 相互 间 
不 能 直接 访问 ， 从 而 实现 网 络 中 的 设备 之 间 的 相互 隔离 。 


。 划分 原则 : 


Do 交换 机 Ylemn 和 zone 里 的 业务 单一 性 ， 尽 量 保 证 在 一 个 vlan 或 者 一 个 zone 中 的 业 
务 要 么 是 顺序 型 的 ， 要 么 是 随机 型 的 ， 确 保 业 务 的 单一 性 ， 提 高 性 能 表现 。 


0 双 控制 器 与 主机 之 间 的 连接 尽量 划分 在 不 同 VLAN 中 ， 这 样 可 有 效 预防 单 点 故障 


Lo 
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磁盘 选择 \ 


。 访问 时 间 = 寻 道 时 间 + 潜 伏 时 间 











适用 于 IO 负载 较 轻 的 应 用 
如 文件 共享 、FTP、 多 媒体 ST WEB 应 nie WEB 应 
与 灾 备 应 用 
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。 平均 寻 道 时 间 (Average Seek Time) : 指 硬盘 在 接收 到 系统 指令 后 ， 磁 头 从 开始 移 
动 到 移动 至 数据 所 在 的 磁道 所 花费 时 间 的 平均 值 ， 它 一 定 程度 上 体现 硬盘 读 取 数 据 的 能 
力 ， 是 影响 硬盘 内 部 数据 传输 率 的 重要 参数 。 平 均 寻 道 时 间 单 位 为 毫秒 (ms) 。 平 均 
寻 道 时 间 实 际 上 是 由 转速 、 单 碟 容 量 等 多 个 因素 综合 决定 的 一 个 参数 。 一 般 而 言 ， 硬 盘 
的 转速 越 高 ， 其 平均 寻 道 时 间 就 越 低 ; 单 碟 容量 越 大 ， 其 平均 寻 道 时 间 就 越 低 。 当 单 碟 
片 容 量 增 大 时 ， 磁 头 的 寻 道 动作 和 移动 距离 减少 ， 从 而 使 平均 寻 道 时 间 减 少 ， 加 快 硬盘 
速度 。 在 硬盘 上 数据 是 分 磁道 半分 复 存 储 的 ， 经 常 的 读 写 操 作 后 ， 往 往 数据 并 不 是 连续 
排列 在 同一 磁道 上 ， 所 以 磁 类 在 读 取 数据 时 往往 需要 在 磁道 之 间 反 复 移 动 ， 因 此 平均 寻 
道 时 间 在 数据 传输 中 起 着 证 分 重要 的 作用 。 在 读 写 大 量 的 小 文件 时 ， 平 均 寻 道 时 间 也 起 
着 至 关 重要 的 作用 。 在 读 写 大 文件 或 连续 存储 的 大 量 数据 时 ， 平 均 寻 道 时 间 的 优势 则 得 

不 到 体现 ， 此 时 单 碟 容 量 的 大 小 、 转 速 、 缓 存 就 是 较为 重要 的 因素 。 


。 平均 潜伏 时 间 、(Average latency time): 指 当 磁头 移动 到 数据 所 在 的 磁道 后 ， 然 后 等 
待 所 要 的 数据 块 继续 转动 到 磁头 下 的 时 间 ， 盘 片 转动 速度 越 快 ， 平 均 潜 伏 期 也 就 越 短 ， 
平均 潜伏 时 间 单 位 为 毫秒 (ms) 。 

。 平均 访问 时 间 (Average access time): 指 磁头 找到 指定 数据 的 平均 时 间 ， 通 常 是 平 
均 寻 道 时 间 和 平均 潜伏 时 间 之 和 (实际 上 还 应 该 包括 一 些 内 部 指令 操作 时 间 ， 但 这 个 时 
间 很 短 ， 可 以 忽略 不 计 ) 。 平 均 访问 时 间 最 能 够 代表 硬盘 找到 某 一 数据 所 用 的 时 间 ， 越 
短 的 平均 访问 时 间 越 好 。 平 均 访问 时 间 单 位 为 毫秒 (ms) 。 


0D 585 0 





RAID 级 别 选 择 


。 常用 RAID 级 别 比较 : 


100% 宛 余 能 力 ， 


RAID10 镜 像 组 内 使 用 XOR 校 验 盘 8% 


单 盘 容错 能 办 


随机 读 号 较 纺 、 对 

可 靠 性 要 求 不 是 非 | 对 可 靠 性 要 求 
| 常 高 。 如 视频 监控 | 比较 高 的 场景 

系统 等 


ww 
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oa > 
HH 囊 圳 洒 革 


顺序 读 大 数据 块 时 Raid10 性 能 比 Raid5 更 低 ， 但 大 于 Raid5 的 一 半 


前 端 压力 足够 时 ，Raid5 的 会 优 于 Raid10 的 写 带宽 
Raid10 的 随机 读 性 能 与 Raid5 的 随机 读 性 能 基本 相当 
Raid10 的 随机 写 性 能 优 于 Raid5 


RAID5 推 荐 成 员 盘 数 5-9 个 ，RAID10 推 荐 组 内 镜像 盘 个 数 为 2 个 


大 文件 读 写 操作 时 ，Raid5 的 性 能 会 明显 好 于 Raid10; 
对 于 随机 小 数据 块 读 写 为 主 的 业务 , Raid10 是 最 优 的 选择 
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全 局 热 备 盘 规 划 


_) 热 备 盘 容量 大 于 等 于 RAID 组 最 大 成 员 盘 容 


_) 必须 为 不 同 接口 的 硬盘 规划 热 备 盘 


_) 热 备 盘 均匀 分 布 ， 推 荐 各 框 至 少 长 2 块 热 备 盘 


Se 
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。 热 备 盘 对 RAID0 没 有 数据 保护 作用 。 
。 保险 箱 盘 不 能 作为 热 备 盘 使 用 。 


。 分 条 与 分 条 深度 
o 分 条 
o 分 条 深度 
o 分 条 深度 对 性 能 的 影响 
=。 分 条 深度 =IO 大 小 ， 高 IOPS 
适 于 随机 IO 业务 ， 如 数据 库 业 务 
a 分 条 深度 小 于 IO 大 小 ， 高 带宽 
适 于 顺序 IO 读 写 ， 如 多 媒体 业务 
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分 条 是 指 连 续 的 数据 分 割 成 相同 大 小 的 数据 块 ， 把 每 段 数据 分 别 写 入 到 阵列 中 不 同 磁 
盘 上 的 方法 。 

分 条 深度 Stripe Size) : 对 于 一 个 分 条 每 个 成 员 盘 所 占 的 空间 我 们 称 为 分 条 深度 ， 
现在 所 支持 的 分 条 深度 4KB~512KB。' 如 果 分 条 深度 太 小 ， 很 有 可 能 出 现 一 个 IO 横 跨 了 两 个 
甚至 多 个 分 条 深度 的 情况 。 随 着 分 条 深度 的 增 大 ， 一 个 |O 跨 盘 的 几率 逐渐 减 小 。 因 此 ， 隧 
着 分 条 深度 的 增加 ， 随 机 读 IOPS 会 逐渐 的 增加 。 


当 分 条 深度 的 大 小 能 够 超过 数据 块 的 大 小 达到 一 定 程 度 时 ， 由 于 再 出 现 | 〇 数据 块 跨 盘 
情况 的 几率 已 经 非常 的 小 了 等 则 数据 块 的 大 小 已 经 不 再 是 影响 性 能 的 关键 因素 了 ， 此 时 随 
机 读 IOPS 会 基本 保持 一 个 稳定 的 水 平 。 


0D 589 0 


分 条 深 度 


。 典型 应 用 IO 业务 模型 
D Oracle/SQLServer 默认 块 大 小 : 8K 
D DB2 默认 块 大 小 : 4K 
D_NTFS/EXT3 默认 簇 大 小 : 4K 


OLTP、Email、Web、 电 、 
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LUN 归 属 \ 


。 双 控 动态 均衡 技术 : 双 控 制 器 互 为 热 备 ， 并 行 处 理 业 务 ， 并 动态 实现 负载 均衡 ， 双 
控 之 间 的 Cache 镜 像 采用 专用 的 双 通 道 ， 双 通道 之 间 动 态 负 载 均衡 。 


LUN 单 一 归属 原则 


业务 量 均衡 分 布 原 则 


业务 类 型 单一 分 布 原则 
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LUN1 归 属 A 控 制 器 ，LUN2 归 属 B 控 制 器 ， 主 机 访问 LUN1， 直 接 通过 控制 器 A 下 发 访问 
请 求 ;主机 访问 LUN2， 需 要 先 通 过 控制 器 人 ,然后 通过 控制 器 和 和 控制 器 B 之 间 的 IBS 通 道 
， 然 后 再 通过 控制 器 B 下 发 访问 请 求 。 信 LUNI1 的 访问 即 是 本 端 访问 的 方式 。 对 LUN2 的 访 
问 即 是 对 端 访问 的 方式 。 

对 端 访问 的 方式 必然 要 通过 板 间 的 IB3 通 道 ， 因 此 必然 受到 IB5 通 道 的 限制 ， 所 以 会 出 
现 其 读 写 的 性 能 受到 影响 的 情况 。 因 此 ， 我 们 在 归属 LUN 的 时 候 ， 需 要 注意 将 该 LUN 归 属 
给 将 访问 其 的 主机 所 连接 的 控制 器 上 。 


双 控 动态 均衡 技术 : 双 控 制 器 互 为 热 备 ， 并 行 处 理 业务 ， 并 动态 实现 负载 均衡 ， 双 控 
之 间 的 Cache 镜 像 采用 专用 的 双 通 道 ， 双 通道 之 间 动 态 负 载 均衡 
。 LUN 归 属 原则 : 
0 LUN 单 一 归属 原则 : 同一 Roid 组 下 的 LUN 尽 量 归 属 同一 控制 器 ， 特 别 对 于 SATA 盘 
， 双 端 访问 导致 性 能 下 降 。 
0 业务 均衡 分 布 原则 : 两 个 控制 器 分 别 归属 的 LUN 个 数 或 者 业务 压力 大 小 保持 基本 
相当 。 


D 业务 单一 分 布 原则 : 确保 各 个 控制 器 的 业务 类 型 De ， 特 别 是 尽量 保证 在 一 
a 
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Cache 预 取 策 略 


0 。 读 命中 : 预 取 固 定 大 小 

. 读 命 中 ， 不 读 磁盘 读 不 命中 : 预 取 大 小 = 不 命 
。 读 不 命中 ， 向 磁盘 读 该 ID 中 长 度 + 固定 预 取 大 小 

。 适 于 随机 业务 读 写 。 适 于 持续 顺序 读 业 务 


倍 煞 预 取 


。 读 命中 : 预 取 长 度 = 预 取 倍数 * 读 命令 长 度 。 读 命中 : 预 取 固定 长 度 

。 读 不 命中 : 预 取 长 度 = 不 命中 长 度 + 预 取 倍 。 读 不 命中 : 预 取 长 度 = 不 命中 长 度 + 
数 * 读 命令 长 度 固定 预 取 长 度 

。 适 于 访问 的 文件 或 数据 库 记 录 从 物理 地 址 。 适 于 持续 小 数据 块 读 应 用 
是 离散 的 ， 但 读 取 数 据 又 属于 连续 的 
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Cache 写 策略 \ 


。 透 写 : 数据 在 写 入 Cache 并 写 入 磁盘 后 才 代 表 写 成 功 
。 回 写 : 数据 在 写 入 Cache 后 就 代表 写成 功 ， 由 Cache 负 责 写 入 磁盘 


。 回 写 比 透 写 具有 更 高 性 能 ， 但 回 写 存在 数据 丢失 的 风险 
。 透 写 具有 更 高 的 可 靠 性 
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Cache 的 写 策略 包括 三 种 : 透 写 ， 回 写 镜像 和 回 写 不 镜像 。 

。 透 写 : 每 一 个 写 IO 请 求 都 直接 下 到 磁盘 ， 整 体 性 能 的 表现 受 限 于 磁盘 本 身 所 能 提供 的 
性 能 ， 主 要 取决 于 磁盘 的 转速 ， 寻 道 时 间 等 关键 的 参数 。 

。 回 写 : 每 一 个 写 IO 到 达 Cache 就 代表 写 入 成 功 ; 然后 通过 Cache 层 面相 应 的 整合 等 操 
作 ， 将 这 些 数据 对 应 的 装 入 CHUNK 中 ， 再 统一 下 发 到 磁盘 。 由 于 写 入 Cache 的 速度 会 
快 很 多 ， 因 此 可 以 得 到 比 透 写 时 更 好 的 性 能 表现 。 

回 写 镜像 和 回 写 不 镜像 这 两 种 写 策略 的 唯一 差别 就 是 ， 当 一 个 写 IO 从 A 控制 器 下 发 ， 

当 到 达 A 控 制 器 的 Cache 之 后 ， 是 否 需要 将 该 |O 再 写 入 到 B 控 制 器 的 Cache 作 备份 。 

对 于 随机 的 写 业 务 来 说 : 由 于 业务 且 流 量 较 小 ， 性 能 的 瓶颈 主要 在 系统 资源 的 分 配 、 

后 端 磁盘 的 个 数 闪 磁盘 的 转速 等 因素 上 ， 镜 像 并 不 是 写 性 能 的 关键 的 因素 。 不 管 是 否 采用 

了 镜像 的 方式 ， 随 机 写 性 能 几乎 没有 区 别 。 

如 果 出 现 镜 像 时 的 随机 写 性 能 略微 优 于 不 镜像 时 的 随机 写 性 能 也 是 正常 的 现象 。 
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统一 存储 系统 Hyper 功能 规划 


如 果 涉 及 到 LUNcopy 或 者 远程 

复制 ， 需 要 根据 链 路 带宽 、 业 

务 类 型 、 产 品 配置 来 规划 链 路 
所 


HostAgent 的 部 署 位置、 组 K 
规划 、 策 略 制定 以 及 与 应 用 软 
件 、 操 作 系 统 的 兼容 料 规 


资源 LUN 的 大 / 规划 


各 何 守 并 家 数据 的 使 用 


Wb Huawel 





全 目录 


.统一 存储 系统 规划 原则 和 流程 
， 统一 存储 系统 主机 层 规划 

.统一 存储 系统 网 络 层 规划 

.统一 存储 系统 存储 层 规划 

. 统一 存储 系统 规划 案例 
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案例 : 茶 中 心 信息 系统 SAN 存 储 规 划 


。 SAN 业 务 需 求 
o Oracle RAC 业务 规格 


该 系统 面向 全 国 办 大 人 
， 年 最 大 停机 时 间 不 得 超过 ?ob 


和 i 


议 管 理 等 


财务 报表 系统 150G/ 年 
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国家 某 中 心 信息 系统 涉及 到 人 、 财 、 物 、 资 金 、 生 产 经 营 等 业务 系统 ， 其 业务 数据 非 
常 重要 ,通过 深入 分 析 该 中 心 系统 建设 需求 , 汇总 得 出 其 整体 建设 目标 : 整合 总 部 存储 资 
源 ， 提 高 存储 基础 架构 的 可 扩展 性 和 性 能 满足 在 三 到 五 年 内 业务 发 展 ， 并 使 整个 系统 在 
内 三 到 五 年 内 保持 领先 的 水 平 。 
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案例 : 某 中 心 信 息 系 统 SAN 存 储 规划 
e。 SQL Server 集 群 业务 


每 年 预计 开展 3000 个 项 目的 审计 ， 
审计 系统 30G 2G/ 年 审计 工作 全 年 分 散 进行 ， 年 最 大 停机 时 间 书 超过 
10H 


人 员 数 据 稳定 不 变 ， 每 个 月 变化 的 


外 网 门户 与 | 外 网 门户 与 B85 访 阐 量 较 天 /主要 为 新 闻 、 评 论 、 
BBS 图 片 等 
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案例 : 某 中 心 信息 系统 SAN 存 储 规划 


。 建设 目标 
o 整合 总 部 存储 资源 ， 提 高 存储 基础 架构 的 可 扩展 性 和 性 能 ， 满 足 在 三 到 
五 年 内 业务 发 展 ， 并 使 整个 系统 在 国内 三 到 五 年 内 保持 领先 的 水 平 。 


4 


。 请 为 其 规划 SAN 方 案 
o 要 求 能 够 满足 SAN 性 能 、 可 靠 性 、 容 量 与 扩展 性 需求 。 
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主机 规划 
。 Oracle RAC 规 划 


o Oracle RAC， 推 荐 采用 小 型 机 和 RAC 集 群 存 储 


。 _ SQLServer 集群 规划 


o SQLServer 集群 ， 推 荐 采用 X86 服务 器 ，05 可 以 采用 
Windows2003/Windows2008， 集 群 存储 推荐 NTFS 文 件 系统 入 


0 SQLServer 数据 文件 与 日 志文 件 分 布 不 同 的 卷 / 分 区 上 。 
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。 规划 点 ; 性 能 、 可 靠 性 、 业 务 分 布 、 存 储 容量 。 


财务 报表 系统 要 求 高 性 能 ， 数 据 库 业务 主要 为 随机 小 数据 块 业 务 ， 衡 量 yAN 性 能 的 主 
要 指标 为 IDP3。 因 此 在 规划 AN 前 ， 应 移 测 试 一 下 3AN IOPS 峰 值 为 多 少 ， 在 本 次 规划 中 
暂 不 考虑 IOPS， 仅 从 总 体 上 定义 SAN 性 能 要 求 。 
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SAN 组 网 选择 


。 性 能 


o IP SAN 与 FC SAN 选 择 


。 可 靠 性 
o I0 路 径 见 余 与 多 路 径 软 件 
o UltraPath ， 支 持 AIX 与 Windows 


。 为 保证 稳定 性 和 性 能 ， 推 荐 使 用 FC 
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SQLServer 


Oracle RAC 


Mb HUAWwEI 





外 网 门户 与 BBS 


SQLServer 集群 共计 : 大 于 150G 


总 容量 : 3000GB， 即 3TB 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. NO HUAWEI 





对 于 Oracle ， 由 于 客户 对 系统 与 数据 要 求 较 高 ， 因 此 需 开 启 归 档 模 式 ， 需 额外 为 
Oraocle 提 供 归 档 日 志 空间 ， 可 以 根据 客户 需求 ， 保 留 归 档 日 志 多 久 ， 本 方案 定 为 190C ( 
假定 每 天 产生 5G 归 档 日 志 ， 保 留 30 天 入 。 


Oracle 容 量 需求 约 大 于 2700G% 考虑 到 需 为 客户 预 留 一 定 的 存储 空间 (以 及 CRS、 
VoteDisk 磁 盘 需 1G) ， 规 划 总 容量 为 3T。 


SQLServer 容 量 共计 150G。 


0 6010 


SAN 选 择 


© 规划 点 : 性 能 、 可 靠 性 、 容量 、 组 网 


o。 Oracle 数 据 库 访问 量 较 大 ， 对 SAN 存 储 性 能 要 求 较 高 ， 选 择 FCSAN， 推 荐 系列 
存储 。 


X 


。 结论 : 选择 55600T 作 为 SAN 存 储 
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硬盘 选择 、 


。 SAN 系 统 对 性 能 与 可 靠 性 要 求 较 高 ， 推 荐 采用 500G SAS 磁 盘 
作为 后 端 存储 ; 


。 从 SAN 总 容量 需求 ， 推荐 选择 为 标 称 容量 为 500G 的 硬盘 


。 从 节省 成 本 考虑 ， 不 推荐 跨 级 联 硬盘 框 方式 保证 SAN 容 量 。 
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RAID 组 与 热 备 盘 规 划 
e。 RAID 组 


o Oracle RAC 财 务 报 表 ， 业 务 量 较 大 ， 性 能 要 求 较 高 ， 推 荐 单个 规 
划 RAID 组 


存储 容量 需求 为 1750G， 推 荐 8 块 SA5 盘 (实际 容量 2000G)L_AK 


o 其 他 业务 应 用 业务 性 能 要 求 较 低 ， 可 放置 在 同一 RAID 组 中 % 
存储 容量 需求 为 1100G， 推 荐 6 块 SAS 盘 (实际 容量 为 1500G) 


。 热 备 盘 ， 推 荐 2 块 热 备 盘 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved 7 HUAWEI 


RAID 组 规划 


TT 
网 务 报表 和 二 | 17 | 1506 年 | 17506 | wp | 
核算 系 儿 
和 


1T 
OA 系统 30G 3G/ 年 45G RAID1 
半 oe 

RN 

oeas | | | Pswoo 


镜像 组 内 盘 


RAID10_1 


RAID10_2 





财务 核算 系统 500G 20G/ 年 600G RAID10_2 
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所 有 IO 业务 都 是 数据 库 读 写 业 务 ，OracleySQLServer 默 认 数据 块 均 为 8K 大 小 ， 推 荐 
RAID10 配 置 ， 镜 像 组 内 盘 个 数 采 用 2 个 。 

整个 系统 性 能 需求 较 高 ， 规 划 RAIB 组 时 ， 规 划 成 两 个 RAID 组 ，RAID 组 名 称 分 别 为 
RAID10_1,RAID10_2， 并 将 业务 均匀 分 配 在 两 个 RAID 组 中 (考虑 到 财务 报表 系统 业务 访 
问 非常 繁忙 ， 建 议 单独 一 个 RAID 组 ) 。 


考虑 到 保险 箱 磁盘 访问 量 较 大 ,p 则 不 投入 应 用 ， 可 作为 后 续 业 务 扩展 的 需求 。 
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一 ET 


LUN_FIN_REPORT 1 分 条 深度 : 8K 
预 取 策 略 : 不 预 取 
LUN_FIN_REPORT 2 400G Cadhe 写 策略 : 回 写 镜 
RAID10_1 | ”财务 报表 系统 LUN_FIN_REPORT 3 像 


LUN 归 属 ; 
LUN_FIN_REPORT_4 400G RAID10_1 上 LUN i 
LUN_FIN_REPORT_5 400G 归属 入 


ee 
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网 和 核算 未 MAD PR 
次 多 系统 
RAID10_2 


思考 题 
。 统一 存储 网 络 规划 的 目标 有 哪些 ? 
。 统一 存储 网 络 规划 的 原则 是 什么 ? 
。 统一 存储 网 络 规划 的 流程 是 什么 ? 
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@ 总 结 


。 统一 存储 系统 规划 的 目标 
。 统一 存储 系统 规划 的 步骤 和 方法 
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口 


判断 题 


1， 在 Web 应 用 、Email、 数 据 库 应 用 等 小 文件 频繁 读 写 的 业务 情况 下 ，SAN 性 能 
要 由 带宽 决定 ; 在 视频 、 测 绘 等 大 文件 持续 读 写 业 务 下 ，SAN 性 能 主要 由 IOPS 


决定 。 (Tof 日 
单 选 题 
1. 以 下 哪 项 不 是 统一 存储 规划 原则 ? ( 
人 A 单一 需求 
B. 经 济 性 
C. 简 单 设计 


D. 封 闭 性 





答案 : 
判断 题 : 1.F 
单 选 题 1.D 
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目标 


。 学 完 本 课程 后 ， 您 将 能 够 : 
o 了 解 Oceanstor 18000 系 列 存储 系统 的 硬件 结构 
o 了 解 Oceanstor 18000 硬 件 安装 维护 
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硬件 总 体 介 绍 


OceanStor 18000 系 列 存储 系统 外 观 图 
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硬件 总 体 介 绍 


硬盘 柜 0 系统 柜 0 系统 柜 2-7 


起 
Copyright © 2013 Huawei Technologies Co., Ltd. All rights reservéd. : 
“、、 
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硬件 总 体 介 绍 


24*3.5 寸 硬盘 框 ， 支 持 NL-3SAS3、3AS、》3 上 盘 。 


smaan azsvaar 支持 SAS5、5SSD 盘 。 


数据 交换 机 | 不 涉及 实现 控制 器 间 控制 信息 流 和 业务 数据 流 交 换 的 关 


设备 。 


SVP 与 KYM 配套 使 用 鲁 是 存储 系统 管理 、 配 置 、 
维护 等 的 核心 部 件 。 
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介绍 存储 系统 所 包含 的 主要 硬件 。 
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引擎 介绍 、 


” 自动 变频 ， 降 低能 耗 
” 提供 系统 下 电 按钮 


”BBU 模 块 
2 


A ¢ 


风扇 模块 

” 风扇 5+1 宛 余 瓜 共有 8 企 风扇， 
其 中 1 个 故障 在野 响 丐 党 工作 ) 

” 散热 功 耗 小 

” 智能 精细 化 请 速 

电源 模块 

” 2* (1+T30 见 余 

入 转换 效率 高 达 92% 











* 12 个 接口 模块 槽 位 

” 接口 模块 支持 热 播 拔 

* 接口 类 型 丰富 : 8GbFC、1Gb iSCSI、10Gb iSCSI、 ” 内 置 高 可 靠 SSD 作 为 系统 保险 箱 
10Gb FCoE、6Gb SAS、 5Gb PCle 
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系统 正在 走 下 电流 程 不 允许 插 拔 控制 模块 或 者 BBU; 
不 允许 修改 系统 各 模块 的 firmwoare; 


升级 CPLD 需 要 重启 系统 并 等 待 1 分 钟 左右 直到 系统 自动 重启 ， 在 此 期 间 不 得 对 控制 器 
断 电 ( 拔 框 /或 系统 下 电 ) 。 


电源 2*(1+1) 见 余 : 上 面 两 父 电 源 A0O 和 A1 为 1+1 见 余 ， 下 面 两 个 电源 BO 和 B1 为 1+1 宛 余 ; 
备注 : 不 能 同时 拔 出 上 部 2 个 电源 模块 或 下 部 2 个 电源 模块 . 


风扇 5+1 宛 余 闪 每 个 风 忆 模块 里 面 有 两 个 风扇 ; 


保险 箱 盘 : 对 于 盘 控 分 离 的 控制 框 ， 存 储 系统 中 第 一 个 硬盘 框 的 前 4 个 硬盘 规划 为 保险 
箱 盘 。 

保险 箱 盘 用 于 存放 系统 重要 数据 ， 以 及 在 电源 模块 故障 时 保存 Cache 中 的 数据 。 

每 ~ 块 保险 箱 盘 上 用 于 存放 系统 重要 数据 的 容量 为 23 GB，4 块 保险 箱 盘 共 占用 92 GB 


的 容量 。 
从 控 2 块 保险 箱 盘 ，B 控 两 块 保险 箱 盘 ， 分 别 为 1+1 备 份 。 
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一 一 一 本 可 |》 0 面 醒 








品 
和 
和 
和 
. 
和 
和 
1 
本 
和 
和 








管理 网 口 0 ( 接 维护 终端 ) mini SAS 级 联 端口 ( 接 硬盘 框 ) 
管理 网 口 1 ( 接 维护 终端 ) 5Gb RCEle 端 回 《 接 数 据 交换 机 ) 
串口 ( 接 维护 终端 ) 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 





0 6200 











引擎 上 各 个 槽 位 支持 的 接口 模块 如 下 : 
A0~-A5 由 控制 器 0 管理 ，B0~-B5 由 控制 器 1 管理 。 
A0 和 BO0 插 横 配 置 6Gbitls SAS 级 联 模块 ( 必 选 ) ， 用 于 连接 柜 中 的 硬盘 框 。 
A5 和 B5 插 槽 为 保留 横 位 ， 仅 在 6Gbit/s SAS 级 联 端 口 不 够 用 的 时 候 ， 可 人 配置 6Gbibs 
SAS 级 联 模块 。 
A3 和 B3 插 槽 建议 作为 预 留 槽 位， 在 配置 有 多 个 系统 柜 的 情况 下 ， 可 配置 5Gb PCle 
接口 模块 用 于 连接 系统 柜 1 中 的 数据 交换 机 。 
A1 和 B1、A2 和 B2、A4 和 B4 这 三 对 播 槽 为 可 选 ， 客 户 可 根据 组 网 情况 选择 相应 的 MO 接口 模块 ， 
包括 1Gbit/s iSCSI 接口 模块 、8Gbitls FC 接口 模块 、10Gbit/s iSESI 接 口 模块 和 10Gbit/s 
FCoE 接 口 模块 。 
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4U SAS 硬 盘 框 


3.5inch 硬 盘 框 
” 支持 24 盘 位 3.5 寸 硬盘 
， 支持 主流 SAS、NL-SAS、SSD 硬 


盘 
” 每 个 硬盘 可 独立 上 下 电 
电源 模块 


” 2+2 宛 余 (共有 4 全 电源 ， 
其 中 2 个 故障 不 影响 正常 
工作 ) 

” 转换 效率 高 达 9030 

风扇 模块 

” 2* (81) 元 余 

” 散热 功 夸 站 

对、 各 能 精细 化 调 速 


地 联 模块 
全 11 克 余 
。 支持 通过 带 内 命令 使 系统 上 下 电 
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。 级 联 口 必须 按 上 一 级 的 下 行 口 (EXP) 接 下 一 级 的 千 行 口 (PRI) 的 连接 方式 进行 ; 
。 升级 CPLD 时 需要 停止 磁盘 框 业务 ; 

。 4U 标 配 硬盘 框 必须 揪 双 电源 工作 ; 

。 风扇 2*(3+1) 见 余 : 每 个 风扇 模块 有 两 个 风扇 ; 


0 622 


2U SAS 硬 盘 框 介绍 





串口 级 联 模块 

” 1+1 宛 余 
mini SAS 级 联 端 ” 支持 通过 带 内 命令 使 系统 上 下 电 
口 
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2.5inch 硬 盘 插 框 
* 支持 主流 SAS、SSD 盘 。 
” 每 个 硬盘 可 独立 上 下 电 。 


电源 模块 


。 1+1 宛 余 
0 


风扇 模块 

” 风扇 3 基 了 人 所 共有 4 
个 风扇 ， 基 中 1 个 故障 
未 影响 正常 工作 ) 。 
散热 项 耗 小 
智能 精细 化 调 速 。 
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数据 交换 机 介绍 


OceanStor 18000 系 列 存储 系统 中 ， 数 据 交 换 机 由 SVP 统 一 监控 和 管理 。 仅 在 系统 


柜 1 上 配置 了 两 个 数据 交换 机 ， 两 者 采用 Active-Active 的 工作 模式 ， 提 高 了 整个 控 
制 信息 流 和 业务 数据 流 的 交换 带宽 。 


风扇 运行 /告警 交流 电 电源 运行 /告警 
指示 灯 风扇 模块 指示 灯 


电源 指示 灯 





告警 指示 灯 








电源 接口 管理 网 口 0 


PCIe 端 口 inkwspeed 指 示 灯 4 
管理 网 口 1 


PCIe 端 口 


6 串口 
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SVP 介 绍 


SVP 与 KVM 配 套 使 用 ， 是 OceanStor 18000 系 列 存储 系统 管理 、 配 置 、 维 护 等 的 核 
心 部 件 。 其 上 安装 了 OceanStor 18000 系 列 存储 系统 所 需 的 维护 、 管 理 等 工具 ， 可 
以 在 本 地 或 远程 轻松 完成 全 套 的 监控 、 管 理 、 配 置 、 鉴 权 等 一 系列 工作 。 


系统 开机 按钮 
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109 8 7 


电源 模块 拉手 PCIe 扩 展 插 覃 
系统 盘 内 部 网 口 
SVP 告 警 指示 灯 SVP 定 位 指示 灯 
VGA 端 品 SVP 串 口 
USB 端 口 IPMI 网 口 

管理 网 口 0 电源 接口 


电源 运行 指示 杂 
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全 目录 
产品 硬件 结构 介绍 

.硬件 安装 和 连 线 

. 勘测 和 包装 拆 引 














.维护 工具 
.兼容 性 基础 
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连接 SVP 到 引擎 


如 果 购 买 的 设备 只 有 一 个 系统 柜 ，SVP 与 引擎 的 线 缆 在 出 厂 时 已 经 连接 
完毕 。 当 存储 系统 包含 两 个 或 多 个 系统 柜 时 ， 所 有 引擎 的 管理 网 口 必须 
通过 数据 交换 机 以 环 路 方式 连接 至 SVP。 





X 
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连接 步骤 : 


连接 数据 交换 机 0 的 网 络 网 口 1 到 数据 交换 机 2 的 管理 网 口 0。 


依次 连接 SVP 的 内 部 网 口 0 到 引擎 0 的 A 控制 器 管理 风口、 引擎 0 的 控制 器 管理 网 口 1 
到 引擎 1 的 A 控 制 器 管理 网 口 0、 引 擎 ] 的 A 控 制 器 管理 网 口 1 到 引擎 2 的 A 控 制 器 管理 网 口 
0.…… 引 擎 N 的 A 控制 器 管理 网 种 1 弄 数据 交换 机 0 的 管理 网 口 9。 (N 代 表 引 擎 的 数量 ) 


依次 连接 yYP 的 内 部 网 口 4 到 引擎 N 的 B 控 制 器 管理 网 口 0、 引 擎 N 的 B 控 制 器 管理 网 口 1 
到 引擎 N-1 的 B 控 制 器 管理 网 月 0、 引擎 N-1 的 B 控 制 器 管理 网 口 1 到 引擎 N-2 的 B 控 制 器 管 
理 网 口 0…… 引 擎 0 的 B 控 制 器 管理 网 口 1 到 数据 交换 机 1 的 管理 网 口 1。 (N 代 表 引 擎 的 
数量 ) 


注意 : 所 有 连 线 必须 按照 以 上 的 规则 和 顺序 进行 连接 。 


0 628 


连接 数据 交换 机 到 引擎 \ 


如 果 购 买 的 设备 只 有 一 个 系统 柜 ， 安 装 时 不 需 连 接 。 当 存储 系统 包含 两 个 
或 多 个 系统 柜 时 ， 必 须 将 各 系统 柜 中 的 引擎 通过 PCle 端 口 连接 至 系统 柜 1 
中 的 数据 交换 机 。 





人 = 人 
! 交换 机 1 有 | 


pr 

1 

1 

，| 国 1 

ee em em em ee ' 
1 


! 交换 机 0 ! 
| 8 
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。 连接 数据 交换 机 0 到 引擎 的 AOC 线 缆 


数据 交换 机 0 的 PO~P15 端 口 依次 连接 到 的 引擎 PC 端口 为 : 引擎 0 A3 覃 位 的 PO、 引 擎 
0 B3 槽 位 的 PO、 引 擎 1 A3 槽 位 的 PRO、 引擎 1 B3 模 位 的 Po 的 P1、 引 擎 2 A3 模 位 的 的 PO、 
引擎 2 B3 槽 位 的 PO、 引 擎 3A3 模 位 的 PO0、 引 擎 3 B3 模 位 的 PO、 引 擎 4 A3 横 位 的 PO0、 引 
擎 4 B3 模 位 的 PO、 引 擎 5 A3 槽 位 的 PO、 引 擎 5 B3 模 位 的 PO、 引 擎 6 A3 模 位 的 PO、 引 擎 
6 B3 模 位 的 PO、 引 擎 7A3 权 位 的 PO、 引 擎 7 B3 槽 位 的 Po。 


。 连接 数据 交换 机 1 到 引擎 的 AOC 线 缆 


数据 交换 机 1 的 PO~PR15 端 口 依次 连接 到 的 引擎 PCIE 端 口 为 : 引擎 0 A3 模 位 的 P1、 引 擎 
0 B3 模 位 的 PIASS 擎 1A3 模 位 的 P1、 引 擎 1 B3 模 位 的 P1、 引 擎 2 A3 权 位 的 的 P1、 引 全 
2 B3 模 位 的 PT、 引擎 3 A3 槽 位 的 P1、 引 擎 3 B3 模 位 的 P1、 引擎 4 A3 槽 位 的 P1、 引 擎 4 
B3 槽 位 的 PI、 引 擎 5 A3 槽 位 的 P1、 引 擎 5 B3 模 位 的 P1、 引 擎 6 A3 模 位 的 P1、 引 擎 6 B3 
槽 位 的 PT 引擎 7 A3 模 位 的 P1、 引 擎 7 B3 槽 位 的 P1。 


注意 :所 有 连 线 必须 按照 以 上 的 规则 和 顺序 进行 连接 。 
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连接 SAS 线 绕 


te el 需要 预 


柜 仙 || 门 





连接 引擎 到 应 用 服务 器 N 




















块 ， 同 一 个 引擎 的 两 个 控制 器 相同 模 位 接口 模块 相同 。 
“0 号 横 位 的 接口 模块 用 于 安装 SAS 接 口 模块 ，5 号 横 位 建议 预 贸 。 在 0 号 模 


位 的 66b SA5 级 联 江口 不 够 用 的 时 候 ， 可 配置 6Gb SAS4 用 于 连接 硬 
“3 号 槽 位 建议 作为 预 留 模 位 ， 在 配置 有 多 个 系统 柜 ， 可 配置 5Gb 


PCle 接 口 模块 用 于 连接 系统 柜 1 中 的 数据 交换 机 
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连接 SVP 至 管理 网 络 








全 目录 
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.硬件 安装 和 连 线 
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. 维护 工具 
， 兼容 性 基础 
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工程 勘测 准备 


辣 
HY 所 2 内 





印 货 场地 勘查 


机 柜 包装 后 高 度 、 宽 度 和 深度 分 别 为 : 2300mm、1100mm 和 1500mm， 带 包装 总 重量 为 
834kg。 在 将 存储 系统 从 运输 工具 上 印 载 时 ， 需 要 注意 以 下 事项 : 


@ 务 载 场地 需 满足 存储 系统 的 短 时 间 存 放 和 方便 转运 的 要 求 ， 在 存放 过 程 中 请 不 要 拆 
务 外 包装 箱 。 


@ 为 方便 将 拆卸 机 柜 的 包装 箱 ， 包 装 箱 前 后 方向 至 少 需要 6.Sm 空 间 ， 左 右 方 向 至 少 需 
要 2.0m 空 间 。 


0 
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机 柜 搬运 通道 要 求 


机 柜 的 尺寸 为 1995mm (高 ) x 600mm ( 宽 ) x1135mm ( 深 ) ， 建 议 的 
搬运 通道 尺寸 如 下 表 所 示 。 


"搬运 通道 不 能 有 坑 、 楼 等 阻塞 机 柜 推行 的 障碍 ， 行 经 地 面 要 求 平 








机 房 散热 要 求 


调 需求 和 机 房 面 积 以 及 设备 散热 相关 ， 请 参考 相关 的 工程 设计 规范 书 ， 确 定 机 房 
让 是 否 满足 存储 设备 的 散热 要 求 。 


十 
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温度 和 湿度 要 求 


工作 温度 @ 海拔 低 于 1800m 时 ，SC 一 3SC 
@ 海拔 为 1800m 一 3000m 时 ，STC 
一 30C 


存放 温度 〈 带 外 包装 的 运输 | - 20C 一 + 60C 
和 存放 ) 


存放 湿度 〈 带 外 包装 的 运输 | 5% RH 一 9$% RH 
和 存放 ) 


机 房 承重 要 求 


EE 
@ 满 配 2.5 寸 硬盘 : 65Skg 

@ 满 配 3.5 寸 硬盘 : 654kg 

硬盘 柜 
空 机 柜 

引擎 

2U SAS 硬 盘 杠 








@ 20kg (配置 2.$ 寸 SAS 硬 盘 ) 
@ 14.9kg (不 包含 硬盘 ) 
@ 44kg (配置 3.$ 寸 SAS 硬 盘 ) 
@ 25.2kg (不 包含 硬盘 ) 


4U SAS 硬 盘 框 











按 机 柜 并 柜 场 景 ， 前 后 走道 间距 1m， 机 柜 前 后 各 有 一 个 人 同 肝 维 粮 (每 个 体重 
100KG) 计算 ， 承重 要 求 为 : (653+ 100* 2) / [0.6* (1.1 )] = 666KG/m? 
注意 : 


具体 数据 可 按照 机 房 实际 情况 计算 ， 计 算 承 重 时 要 
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存储 系统 整 柜 形 态 交 付 ， 重 量 以 整 柜 重 量 为 最 小 单位 ， 机 柜 满 配 的 最 大 重量 为 653kg。 
机 柜 的 尺寸 为 : 1995mm (高 ) x 600mm ( 宽 ) x1135mm ( 深 ) 。 


0 6390 





机 房 空间 要 求 ， 











IE 克拉、 贡 和 
各 种 设备 的 操作 空间 。 前 维护 通道 的 宽 访 不 应 低 于 
1200mm。 多 

-bn 后 的 维 护 空间 主要 有 天 护 ， 可 以 比 前 维 
护 空间 略 小 。 其 宽度 不 应 全 
Die 距离 建议 至 少 1000mm。 





BY 
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。 机 柜 的 尺寸 为 1995mm (高 ) x 600mm ( 宽 )<Sx 1135mm ( 深 ) ， 机 柜 采 用 前 门 为 单 


640 口 


开门 ， 后 门 为 双开 门 ， 且 前 门 开 门 方向 为 从 左 向 右 。 可 以 根据 机 房 的 实际 环境 按照 标 
准 布局 或 分 散布 局 进行 机 柜 的 安装 请 根据 机 柜 的 摆 放 方式 以 及 机 柜 的 数量 计算 机 柜 
占用 的 空间 ， 如 果 后 续 有 扩容 需求 ， 建 议 提 前 规划 并 预 留 。 


每 个 系统 柜上 配置 有 一 人 台 引 擎 六 由 系统 柜 1 中 的 数据 交换 机 汇聚 连接 所 有 引擎 的 AOC 
线 费 ， 布 线 和 机 柜 布局 应 当 围 绕 着 系统 柜 1 来 展开 。 


机 房 供电 要 求 
存储 系统 的 电气 规格 参数 


二 
.对 于 北美 及 110v 电 源 区 域 ， 要 求 需 提供 满足 NEMA 标 准 的 三 相 四 线 50A (50A 
250V3 PHASE 3-POLE 4-WIRE) 电源 连接 器 作为 机 柜 供电 外 部 接口 ， 如 不 能 提 
供 ， 需 在 备注 中 说 明 。 4 
“确定 电源 线 走 线路 由 时 ， 要 注意 电源 线 不 能 从 机 柜 要 扩容 方向 一 侧 上 线 ,。 否 
则 下 次 扩容 时 新 增 机 柜 将 压 住 原来 的 电源 支线 ， 造 成 无 法 安装 的 后 果 。 
“如 果 电 压 稳 定性 不 能 满足 要 求 ， 应 采用 调 压 或 稳 压 设备 使 电压 满足 波动 范围 
“建议 每 个 机 柜 的 两 个 PDU 的 输入 电源 来 自 两 个 独立 的 配 电 屏 ， 并 县 是 备 独立 的 
UPS (Uninterrupted Power Supply) 系统 。 


Pen edt hei 

















(输入 路 数 、 电 源 制 式 、 电 压 情况 、 输 入 电流 、 输 入 电 ; 
则 需 特 别 备 注 。 4 
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对 于 北美 及 110V 电 源 区 域 ， 要求 需 提供 满足 NEMA 标 准 的 三 相 四 线 50A (50A 250V 3 
PHASE 3-POLE 4-WIRE) 电源 连接 器 作为 机 柜 供电 外 部 接口 ， 如 不 能 提供 ， 则 需 在 备 
注 中 说 明 。 

确定 电源 线 走 线路 由 时 ， 要 注意 电源 线 不 能 从 机 柜 要 扩容 方向 一 侧 上 线 ， 否 则 下 次 扩 
容 时 新 增 机 柜 将 压 住 原 来 的 电源 支线 ， 造 成 无 法 安装 的 后 果 。 

对 于 扩容 局 勘测 ， 需 要 注意 在 护 容 并 柜 时 是 否 有 电源 线 从 扩容 方向 走 线 的 情况 ， 如 果 
存在 这 种 情况 ， 最 好 补 发 电源 文 线 进行 整改 。 否 则 到 了 工程 现场 将 无 法 安装 。 

如 果 电 压 稳 定性 不 能 满足 要 求 ， 应 采用 调 压 或 稳 压 设备 使 电压 满足 波动 范围 要 求 。 


建议 每 个 机 柜 的 两 个 PDU 的 输入 电源 来 自 两 个 独立 的 配 电 屏 ， 并 且 具 备 独立 的 UPS ( 
Uninterrupted*:PowerSupply) 系统 。 


如 果 局 点 的 配 电 环 境 不 满足 OceanStor 18000 系 列 存 储 系统 的 标准 用 电 要 求 (输入 路 
数 、 电 源 制 式 、 电 压 情况 、 输 入 电流 、 输 入 电源 线 是 否 含 接地 等 ) ， 则 需 特别 备注 。 
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线 缆 长 度 及 走 线 要 求 


“网 线 〈 用 于 连接 3VP 至 管理 网 络 ，3VP 与 引擎 ) 
如 果 10m 不 能 满足 跨 接 要 求 ， 需 特别 说 明 数 量 和 长 度 ， 指 导 公 司 发 货 。 
“AOC 线 缆 (用 于 连接 引擎 与 数据 交换 机 ) 
“AOC 线 缆 目 前 最 长 尺寸 为 15m， 在 进行 机 柜 布局 时 一 定 要 注意 系统 柜 1 与 
最 远 的 机 柜 之 间 的 直线 距离 不 能 超过 10m。 
“SAsS 线 缆 〈 用 于 连接 引擎 与 硬盘 框 ) X 
"系统 柜 内 部 的 SA5 线 绕 出 厂 时 候 已 经 连接 完毕 。 
“ 当 配 置 了 硬盘 柜 时 ， 需 要 跨 柜 连接 SAS 线 缆 。 
“ 跨 柜 级 联 的 mini SAs 线 缆 默 认 配 置 长 度 为 3m。 
“光纤 〈 用 于 连接 引擎 与 应 用 服务 器 ) 
?光纤 主要 有 10m 和 3m 两 种 规格 。 
“如 果 10m 长 度 的 光纤 无 法 满足 使 用 要 求 ， 需 特别 说 明 数 量 和 发 度 ， 指 导 公 
司 发 货 。 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 7 HUAWEI 


线 绕 走 线 方式 可 以 选择 上 走 线 和 下 走 线 ， 走 线 方式 由 客户 确定 。 


如 果 采 用 上 走 线 ， 需 要 现场 确认 走 线 染 高 度 是 否 满足 机 柜 高 度 要 求 。 必 须 满足 走 线 架 
下 表面 到 机 房 地 表 面 (或 防 静 电 地 板 汪 表 面 ) 的 距离 大 于 3 米 。 


如 果 采 用 下 走 线 ， 机 房 必 须 为 防 静 电 地 板 地 面 ， 机 房 净 高 度 指 天 花 板 到 防 静 电 地 板 上 
表面 的 距离 , 要 求 不 小 于 2.6 米 。 同 时 需 确 认 机 柜 摆 放 位 置 的 下 方 是 否 有 电缆 、 和 孔洞 等 障 
碍 以 利于 设备 安装 。 有 活动 地 板 的 机 房 应 安装 底座 。 

当 防 静电 地 板 不 满足 承重 要 求 时 ， 需 要 安置 防 静 电 地 板 支 染 。 防 静电 地 板 支 持 的 高 度 
范围 为 250-400mm， 如 防 静 电 地 板 的 高 度 不 在 此 范围 内 ， 则 需要 定制 支 染 ， 优 选 推动 
客户 自行 设计 安装 此 支 染 ， 以 保持 与 原 机 房 环 境 的 协调 性 和 一 致 性 。 


包装 示意 图 及 标识 


储 运 标识 、 重 心 位 置 、 重 货 & 防 踩踏 标识 、 开 箱 指引 等 。 


国 国 Bs cr 各 
el 


Center of gravity 


重型 货物 Top-heavy cargo 
严禁 堆 二 ， 严 禁 踩踏 ，No stacking & No step on 


拆 箱 指导 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved 


防 冲 击 监 示 标签 、 防 翻 倒 监 示 标 签 


尺寸 :1500*1100*2300mm 








包装 方案 示意 图 (以 实物 为 准 ) 
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异常 场景 : 拆 机 柜 搬 运 . 


适用 场景 : 

机 柜 途 经 大 于 10 度 斜坡 、 台 阶 、 低 于 2 米 高 的 门洞 。 

解决 步骤 及 方案 : 

1. 拆 印 设备 和 门 : 
@ 拆 下 柜 内 设备 (有 两 种 方式 ) 
方式 一 (推荐 ) : 引擎 、 硬 盘 框 带 硬 盘 一 起 拆卸 ， 做 好 顺 
序 标记 ; 其 他 线 缆 和 部 件 保留 ， 剩 下 250kg 左 右 。 
方式 二 (不 推荐 ) : 在 有 包装 条 件 的 前 提 下 ， 拆 卸 机 柜 正 
面 的 FRU 部 件 (包括 硬盘 、 控 制 板 、BBU 等 模块 ) ， 机 柜 
后 面 的 部 件 不 做 拆卸 。2.5 寸 盘 0.2kg，3.5 寸 盘 0.7kg，2 
个 控制 板 +4 个 BBU: 10kg 。 
@ 拆 印 机 柜 柜 门 : 拆除 两 个 侧门 ， 尽 量 保留 前 后 门 。 

如 右 侧 图 1 所 示 。 

搬运 : 机 柜 侧 倾 ， 把 机 柜 搬运 到 指定 位 置 。 搬 运 人 力 至 
少 6 个 人 。 
恢复 : 把 拆除 的 框 安装 回 对 应 的 机 柜 、 对 应 的 位 置 。 线 
缆 按照 标签 指示 插 回 原来 对 应 的 接口 。 
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景 : 第 3 步 恢 复 的 补充 说 明 1 


A. 如 何 确 定 硬盘 框 与 机 柜 的 对 应 关系 ? 
在 硬盘 框 级 联 模 块 上 ， 粘 贴 有 级 联 模 块 标 签 ， 表示 此 级 联 模 块 的 端口 信 
息 ， 如 DAE011-A， 表 示 此 硬盘 框 的 A 级 联合 。 其 中 的 “0” 与 机 柜 编 号 的 
SMB0 的 “0” 对 应 ， 如 是 DAE100-A, 则 表示 此 硬盘 框 对 应 的 机 柜 编 号 为 


4 


DAE0xx-A-PRI DAEOxx-ASEXP 
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异常 场景 : 第 3 步 恢 复 的 补充 说 明 2 


B. 如 何 确定 设备 在 机 柜 中 的 位 置 ? 

在 机 柜 的 前 后 侧 壁 上 ， 粘 贴 有 维护 地 图 ， 上 面 标记 各 设备 在 机 柜上 对 应 的 安 
装 位 置 。 

C. 如 何 确定 线 费 与 设备 端口 的 对 应 关系 ? 

线 缆 〈 电 源 线 缆 和 信号 线 缆 ) 上 粘贴 有 标签 ， 表 示 线 绕 与 设备 端口 的 圣 应 关 
系 。 设 备 端口 信息 在 各 设备 上 均 有 标示 ， 可 以 据 此 找到 对 应 关系 。 

注意 : 
1. 对 于 扩容 场景 ， 机 柜 和 设备 上 可 能 没有 对 应 标签 或 标签 信 筷 不 全 ， 
在 拆卸 前 请 手动 标记 好 设备 与 机 柜 的 对 应 信息 。 

2. 设备 拆除 时 请 整 框 下 柜 ， 切 勿 拆卸 框 内 的 模块 及 硬盘 组 件 。 因 KVM 
安装 比较 复杂 ， 建 议 在 搬运 时 不 拆除 。 

3. 为 便于 搬运 ， 可 将 侧门 、 后 门 拆除 。SMB0 的 前 门 丰采 拆卸 ， 其 它 柜 
前 门 可 拆 。 搬 运 过 程 中 ， 前 门 及 前 门 装饰 条 和 蛋 能 受 力 。 
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异常 场景 : 第 3 步 恢 复 的 补充 说 明 3 


DAE011 pl 


DAE010 








设备 与 机 柜 对 应 关系 
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2. 硬件 安装 和 连 线 
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4. 维护 工具 

5. 兼容 性 基础 
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OceanStor Toolkit 简 介 


Oceanstor Toolkit 是 由 华为 技术 有 限 公司 开发 的 工具 ， 通 过 该 工 
具 可 以 帮助 技术 服务 工程 师 、 运 维 工程 师 对 设备 进行 部 署 、 维 
护 和 升级 。 
。 部 署 功 能 XK 
。 维护 功能 
。 升级 功能 
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部 署 功能 可 以 帮助 技术 服务 工程 师 、 运 维 工 程 师 进行 设备 初始 化 。 包 括 线 缆 检 测 工具 
和 硬盘 扫描 工具 。 


部 署 功 能 


部 署 功 能 可 以 帮助 技术 服务 工程 师 、 运 维 工 程 师 进行 设备 初始 化 。 包 括 线 缆 检 测 工 具 
和 硬盘 扫描 工具 。 


升级 功能 
升级 功能 可 以 帮助 技术 服务 工程 师 、 运 维 工程 师 对 设备 进行 升级 、 扩 容 。 包 括 设备 升 
级 工具 和 扩容 工具 
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Cloud Service 一 快速 高 效 


Bd 


eA ” 令 令 


SM 入 


NN 


Email 


<30 秒 


F 
LL 


“告警 感知 时 间 : <5 秒 

“故障 信息 自动 采集 时 间 : <10 秒 

“故障 信息 自动 传输 时 间 : <180 秒 
“整体 报修 时 间 : <4 分 钟 

“故障 信息 : 自动 采集 ， 自 动 回 传 ， 精 确定 位 
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Cloud Service 的 革新 
传统 报修 


人 工 报修 自动 报修 
完成 报修 时 间 >50 分 钟 完成 时 间 <5 分 名 


电话 描述 故障 信息 自动 采集 故障 信息 


缩减 故障 时 间 ， 直 享 专家 服务 
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Cloud Service 介 绍 一 四 大 特点 


“ 存储 设备 全 面 定期 检查 ; 发 生 故 障 时 ， 触 发 深度 健康 检查 


el < 
“24*7 监 控 设 备 告警 ， 告 警 感知 时 间 小 于 5 秒 钟 


“告警 达到 规定 级 别 ， 发 送 邮件 至 云 服 务 平台 ; 云 服务 平台 
到 相关 人 员 邮 箱 ， 并 短信 告知 





Cloud Service 介 绍 一 客户 侧 


“24*7 全 天 候 监 控 
“定时 健康 检查 
“潜在 故障 检查 
“故障 触发 健康 检查 


"采用 公有 端口 

* 仅 传送 设备 运行 信息 ， 不 传送 业务 数据 
“是 否 向 外 发 送 ， 用 户 完全 控制 
“传送 信息 用 户 可 审计 

* 用 户 信息 AES128 加 密 


“支持 Windows 主 力 版 本 
“绿色 软件 ， 解 压 即 用 
“操作 简单 ， 所 见 即 所 得 
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Cloud Service 介 绍 - 后 台 侧 








0D 655 0 


设置 Cloud Service 


下 | Cloud Service 


操作 日 志 


客户 信息 设置 


| 一 


可 以 寻 委 人 码 人 用 … 理 示人 作 三 作 开 
人 


- 事件 通知 设置 


EEN A wp ga 


本 高 级 设置 
E 打量 开展 日 局 


本 定时 任务 设置 TT 


9m 
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产品 硬件 结构 介绍 
硬件 安装 和 连 线 


勤 测 和 包装 拆 钼 











维护 工具 
. 兼容 性 基础 
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存储 兼容 性 相关 组 件 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights rese 


存储 的 组 网 环境 非常 复杂 ， 主 
要 表现 在 涉及 兼容 性 的 组 件 及 各 个 
组 件 的 型 号 比较 繁多 。 

后 续 将 分 别针 对 这 些 组 件 介绍 


其 影响 兼容 性 结论 的 相关 点 。 

> 操作 系统 

> 主机 HBA 

> 交换 机 

> 多 路 径 软 件 

> 上 层 应 用 软件 ( 卷 管理 和 集群 软件 ) 





~ 
~ Page 45 站 多 huawel 


操作 系统 ， 


涉及 的 主要 O 〇 5 类 型 
容 性 结果 影响 点 
操作 系统 内 核 


定制 化 揉 作 系 
统 拷 内 核 可 能 
与 原 上 起 内核 会 
有 所 不 同 


v Windows: 2003/2008 … 
v Linux: SUSE/Red Hat/Red Flag … 
IBM AIX: AlIX 5.3/6.177.1 … 


Oracle 3olaris: Solaris 8/9/10/11-…… 


斗 洒 内 洲 齐 注 


CPU 架构 
X86,x86_64.SPA 


Mac OS: 10.5.x/10.6.x/10.7.Xx… RSitonium 等 
不 同 的 架构 其 兼 
容 性 结果 不 同 


HP-UX: 11iv1/v2/v3 … 


虚拟 机 : VMware、XensServer 及 其 它 
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主机 HBA 


涉及 的 HBA 卡 类 型 及 参数 
v 主 机 接口 : iSCSI、FC、SAS 
v 原 产 厂商 : FC (QLogic、Emulex、LSI、 
Brocade、ATTO 等 ) ; iSCS| (QLogic 
等 ) ; SAS (LSI、Adaptec、ATTO 等 ) 
VOEM 厂 商 : IBM、HP、DELL、SUN、 
HUAWEI 
v 插 槽 类 型 : PCl、PCI-X、PCI-E 
v 速 率 : 1Gbps/2Gbps/3Gbps/ 


4Gbps/8Gbps/ 10Gbps 等 


驱动 版 本 

某 些 系统 自 带 

的 驱动 存在 问 

题 ， 需 要 升级 
。 至 新 版 本 

Firmware 

版 本 


一 些 低 版 本 
的 firmware 


需要 升级 至 
高 版 本 才能 
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HBA 型 号 
不 同型 号 的 


NS 扫 扑 模式 
和 速率 
部 分 HBA 的 
拓扑 模式 有 

机 
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交换 机 


涉及 的 交换 机 类 型 及 参数 
v 主 机 接口 : iSCSIl、FC、SAS、10GE 


兼容 性 结果 影响 点 


v 原 产 厂商 : 


| 交换 机 | 
iSCSI (Cisco、 HUAWEI) 、 
FC (Brocade、 QLogic、 Cisco) E21 


SAS (IBM、 HP、Dell) 、 

10GE (Huawei、Cisco 等 ) 
VOEM 厂 商 : FC (IBM、HP、DELL、HUAWEI 等 ) 
v 速 率 : 1Gbps/2Gbps/4Gbps/ 


8Gbps/10Gbps 
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多 路 径 


涉及 的 主要 多 路 径 类 型 


v 自 研 多 路 径 : Windows /Linux 兼容 性 结果 影响 点 


/AIX (〈iSCsI 接 口 的 个 别 系 统 及 
一 些 非 主流 操作 系统 暂 无 自 研 多 


和 多 路 径 类 型 
路 径 支 持 ) 和 的 多 中 
第 三 方 多 路 径 : HP PVLinks、 您 革 必 记 

路 径 切换 等 


NMP/Solaris STIMS/Mac .方面 不 同 
ATIO/Linux DMP/VMware 


NMP) 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights re: 





上 层 应 用 软件 〈 卷 管理 和 集群 软件 ) S 


涉及 的 主要 集群 软件 


Windows: MSCS、 WSFC 


操作 系统 和 集群 


和 不同 天 型 的 
Solaris: Sun Cluster 集群 软 
: 异 很 大 
HP-UX: MC/SG 


Linux: RedHat(RHCS) 


= 宇 要 天 在 下 面 几 
三 方 : SF、Oracle RAC、 
第 三 方 racle 和 模式 
ROSE、 HeartBeat … “。 非 预 留 
*SCSI-2 预 留 


*SCSI-3 预 留 
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介绍 如 何 获取 菲 容 介绍 如 何 查看 兼容 
性 列表 性 列表 的 内 容 是 否 


存储 兼容 性 列表 是 存储 兼容 性 实验 室 最 重要 输出 和。 
如 何 获取 并 查看 该 输出 件 对 项 目 支 撑 及 来 说 至 
关 重 要 |! “ 
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获取 万 法 一 


登陆 华为 3MS 共 享 平台 : 
http://3ms.huawei.com/ 


Deedeon MS » Oocumests Ra 
| Sen 
Ra me 
Yuaneesoae C2 w 
四 Twenteeics 术 再 入 和 从 下 
天 症 中 心 隐 3 间 认 力 守 


日 PCC veey son Serac 


B HUANEGIYP9950 Pres nl 








Woomoos ens wa 


在 上 面 的 网 页 中 ， 依 次 选择 : DOCUMENTS\ByP NIT 
Solutions\Storage 进入 存储 系统 资料 库 。 CS 
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666 口 


获取 万 法 一 


在 存储 资料 库 网 页 左 侧 的 导航 栏 中 ， 依 次 选择 : 
Overall\Bidding\Compatibility List 


Sage 


3 Srage 
Inder 
Ec] By Product 
9 Customer Communical 
Database 
Harretatat 


Qualdficatonsand Ce 
一 Brand 
3 Lecyde Wanagement Create DOC MMDocuments wv 
a Training 
Other 
a Disk Storage Srstam 
ED ‘Mached Storage 
MolCation Storage Syster 
3 Cloud Storape Rhor 4 Web | Gs 二 
4 Stora9e Me3 Network 


MDocuments | Chinese | Engish Omers 


全 口 分 为 OceanStor 59000 存 刍 医 窑 性 列表 _2012.05-17 .por 


季 铺 得 宇 性 天 末 
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8 Release Date 


v 





获取 万 法 二 


通过 下 面 的 链接 直接 进入 上 述 目录 : 
http://3ms.huawei.com/mm/docNav/mmNavigate.do?method=sho 
wMMList&node id=1-2-35621-39226-39244-39256 


条 让 WM I ee ee bb et het tet 全 
Ce 中 


) IAD WN 
窗 安 从" 且 雪 -让 OOOIAYV-: 人 "加 及 及 性 


By Proauct 


Te Ne 


MDocumems Cnese Emm Comes 


gcmepoc oomen 司 


3 口 Wo Oceensaer Sirege Reatneted toroperees Nat 0 no O 1 ee 
a 


Ce He easvtad vam ser es Ls 
Mr agreeon 900047001391 .06-20 Matty 1 Gel 委 


霹 口 Cem 看 负 娄 阳 到 种 章 和 性 草 条 (02012 06 Dp 
Ceraree 肌 要 昌 妾 直 拓 要 合作 区 


ae egewean 9000470012912.04-20 its 党 
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使 用 兼容 性 列表 


以 S5500T 的 兼容 性 列表 为 例 ， 详 细 介绍 一 下 兼容 性 列表 的 目录 结构 ， 如 下 所 示 : 


FC 连 接 : 
FC 组 网 时 的 组 合 信息 。 
iSCSI 连接 : 
iSCSI 组 网 时 的 组 合 信息 。 
带 内 管理 软件 : 
主机 带 内 管理 软件 兼容 性 信息 。 2 
HostAgont: 2 Rf A 
主机 客户 端 兼容 性 信息 。 Et tt 
ep. 
ISM 管 理 软件 的 兼容 性 信息 。 ere 
兼容 性 认证 : 
第 三 方 宣称 支持 华为 存储 的 信息 。 
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使 用 兼容 性 列表 


通常 ， 当 收 到 一 个 普通 的 兼容 性 需求 Pr 
的 时 候 可 以 按照 右边 的 步骤 检查 兼容 性 
列表 。 


、 基本 连通 性 查询 
只 有 右边 条 件 都 满足 的 时 候 ， 才 (OS 和 HBA 等 是 否 兼容 ) 


说 明 该 需求 是 已 经 经 过 验证 的 。 否 则 
交换 机 查询 
(如 果 是 交换 机 组 网 》 


请 咨询 相关 的 接口 人 。 


卷 管理 查询 
(如 果 对 卷 管理 有 要 求 


集群 软件 查询 
《如 果 存 在 集群 应 /和 
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使 用 兼容 性 列表 


注意 事项 
v 在 一 些 项 目 需求 中 (多 数 为 投标 的 项 目 ) ， 可 能 会 对 第 三 方 认证 信息 等 有 要 求 ， 
此 时 可 以 在 兼容 性 认证 目录 中 进行 查询 。 
es 
对 于 卷 管理 这 块 内 容 ， 我 们 只 体现 第 三 方 的 卷 管理 软件 ， 对 于 系统 自 带 的 卷 管理 
软件 ， 默 认 测试 通过 ， 在 兼容 性 列表 中 不 单独 体现 。 
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求助 索道 \ 


对 于 存储 兼容 性 列表 以 外 的 内 容 ， 可 以 按照 项 目的 方式 ， 根 据 《 存 储 项 目 兼容 性 需求 
反馈 模版 ”， 收 集 详细 项 目 配 置信 息 ， 通 过 产品 项 目 接口 人 反馈 详细 的 兼容 性 需求 ， 
协助 答复 。 


需求 反馈 渠道 : 以 


售 前 项 目 : 各 产品 售 前 项 目 支持 接口 同事 
售后 项 目 : 各 产品 交付 维护 组 接口 同事 
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Thank you 
www.huawei.com 





» 
华为 职业 认证 通过 者 权益 
通过 任 一 项 华为 职业 认证 ， 您 即 可 在 华为 在 线 学 习 网 站 (htfp;//earning.huawei.com/cn) 享有 如 下 特权 : 
。 ”1、 华 为 E-learning 课程 学 习 
o 内 容 : 所 有 华为 职业 认证 E-Learning 课 程 ， 扩 展 您 在 其 他 技术 领域 的 技术 知识 
方式 : 请 提交 您 的 “华为 账号 ”和 注册 账号 的 “email 地 址 ”到 LeQ/ning@huawei.com 有 拘 谍 反 碟 。 
华为 培训 教材 下 载 
内 容 : 华为 职业 认证 培训 教材 + 华为 产品 技术 培训 教材 ， 覆 盖 企 业 网 络 、 存 储 、 安 全 等 诸多 领 
方式 : 登录 华为 在 给 党 习 奢 站 ， 进 入 “和 毕 为 克 动 -> 面 丰 区 益 ”， 在 具体 课程 页 面 即 可 下 载 教 林 。 
华为 在 线 公 开课 (LVC) 优 先 参与 
内 容 : 企业 网 络 、UC&C、 安 全 、 存 储 等 诸多 领域 的 职业 认证 课程 ， 华 为 讲师 授课 ， 天 班 A 数 有 限 
方式 : 开 班 计划 及 参与 方式 请 详 见 LVC 排 期 : 


http://support.huawei.com/learning/NavigationAction!createNavi#rawilid]=Y16 
学 习 工 具 eNSP 
ENSP [Enterprise Network Simulation Platforml, 是 由 华为 提供 的 免费 的 6] 坟 展 的 、 图 形 化 网 络 仿 





真 工具 。 主 要 对 企业 网 路 由 器 和 交换 机 进行 硬件 模拟 ， 完 美 呈现 真实 设备 实景 了 同时 也 支持 大 型 网 络 
模拟 ， 让 大 家 在 没有 真实 设备 的 情况 下 也 能 够 进行 实验 测试 。 
另外 , 华为 建立 了 知识 分 享 平台 华为 认证 论坛 。 您 可 以 在 线 与 华为 技术 专家 交流 技术 ， 与 其 他 考生 分 享 考试 
经 验 ， 一 起 学 习 华为 产品 技术 。_(_ http://support.huawei.comyeaePimunity/bbsy/list 2247.html ) 
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